大数据技术原理与应用:概念、存储、处理、分析与应用 版权信息
- ISBN:9787115544056
- 条形码:9787115544056 ; 978-7-115-54405-6
- 装帧:一般胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>>
大数据技术原理与应用:概念、存储、处理、分析与应用 本书特色
1.大数据教学名师之作;2.提供丰富的配套资源:建设了高校大数据课程公共服务平台(http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/),为教师教学和学生学习大数据课程提供包括教学大纲、讲义PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等全方位、一站式免费服务,平台每年访问量超过200万次,累计访问量超过750万次
大数据技术原理与应用:概念、存储、处理、分析与应用 内容简介
本书系统介绍了大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。全书共17章,内容包含大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网、生物医学领域和其他行业的应用。本书在Hadoop、HDFS、HBase、MapReduce、Hive、Spark和Flink等重要章节安排了入门级的实践操作,以便读者更好地学习和掌握大数据关键技术。
大数据技术原理与应用:概念、存储、处理、分析与应用 目录
**章大数据概述
1.pan style="font-family:宋体">大数据时代
1.1.pan style="font-family:宋体">第三次信息化浪潮
1.1.2信息科技为大数据时代提供技术
支撑
1.1.3数据产生方式的变革促成大数据
时代的来临
1.1.4大数据的发展历程
1.2大数据的概念
1.2.pan style="font-family:宋体">数据量大
1.2.2数据类型繁多·
1.2.3处理速度快
1.2.4价值密度低·
1.3大数据的影响
1.3.pan style="font-family:宋体">大数据对科学研究的影响
1.3.2大数据对思维方式的影响
1.3.3大数据对社会发展的影响
1.3.4大数据对就业市场的影响
1.3.5大数据对人才培养的影响
1.4大数据的应用
1.5大数据关键技术·
1.6大数据计算模式
1.6.1 批处理计算·
1.6.2 流计算
1.6.3图计算
1.6.4查询分析计算
1.7大数据产业
1.8大数据与云计算、物联网
1.8.1 云计算
1.8.2 物联网
1.8.3大数据与云计算、物联网的
关系
1.9本章小结
1.pan style="font-family:宋体">/span>
第2章 大数据处理架构Hadoop29
2.pan style="font-family:宋体">概述
2.1.1 Hadoop简介
2.1.2Hadoop的发展简史
2.1.3Hadoop的特性
2.1.4 Hadoop的应用现状
2.1.5Hadoop的版本
2.2Hadoop生态系统·
2.2.1 HDFS.
2.2.2 HBase
2.2.3 MapReduce
2.2.4 Hive·
2.2.5 Pig
2.2.6 Mahout·
2.2.7 ZooKeeper
2.2.8 Flume·
2.2.9 Sqoop·
2.2.10 Ambari
2.3Hadoop的安装与使用
2.3.1 创建Hadoop用户
2.3.2 更新apt和安装Vim编辑器
2.3.3安装SSH和配置SSH无密码
登录
2.3.4安装Java环境·
2.3.5安装单机Hadoop
2.3.6 Hadoop伪分布式安装
2.4本章小结
2.5
实验pan>熟悉常用的Linux作和Hadoop
作
第二篇 大数据存储与管理
第3章 分布式文件系统HDFS
3.pan style="font-family:宋体">分布式文件系统
3.1.pan style="font-family:宋体">计算机集群结构
3.1.2分布式文件系统的结构
3.1.3分布式文件系统的设计需求
3.2HDFS简介·
3.3 HDFS的相关概念
3.3.1 块
3.3.2名称节点和数据节点
3.3.3第二名称节点
3.4HDFS体系结构
3.4.1 概述
3.4.2 HDFS命名空间管理
3.4.3通信协议
3.4.4客户端
3.4.5HDFS体系结构的局限性
3.5HDFS的存储原理
3.5.pan style="font-family:宋体">数据的冗余存储
3.5.2数据存取策略
3.5.3数据错误与恢复
3.6HDFS的数据读写过程
3.6.pan style="font-family:宋体">读数据的过程
3.6.2写数据的过程
3.7 HDFS编程实践·
3.7.1HDFS常用命令
3.7.2 HDFS的Web页面
3.7.3 HDFS 常用Java API 及应用实例
3.8本章小结
3.9 /span>
实验2熟悉常用的HDFS作
第4章 分布式数据库HBase
4.1 概述
4.1.1 从BigTable 说起
4.1.2HBase简介·
4.1.3 HBase与传统关系数据库的对比
分析
4.2 HBase 访问接口
4.3HBase 数据模型
4.3.1 数据模型概述
4.3.2数据模型的相关概念
4.3.3数据坐标
4.3.4概念视图
4.3.5物理视图
4.3.6面向列的存储
4.4 HBase的实现原理
4.4.1 HBase
4.4.2 表和Region
4.4.3Region 的定位
4.5 HBase 运行机制
4.5.1HBase系统架构
4.5.2 Region服务器的工作原理
4.5.3Store的工作原理
4.5.4HLog的工作原理
4.6 HBase编程实践
4.6.1 HBase 常用的 Shell 命令
4.6.2 HBase常用的Java API及应用实例
4.7本章小结
4.8/span>
实验3熟悉常用的HBase 作
第5章 NoSQL数据库
5.1NoSOL简介
5.2 NoSQL兴起的原因
5.2.pan style="font-family:宋体">关系数据库无法满足Web2.0的
需求
5.2.2 关系数据库的关键特性在Web 2.0
时代成为“鸡肋”
5.3 NoSQL与关系数据库的比较
5.4 NoSQL的四大类型·
5.4.pan style="font-family:宋体">键值数据库·
5.4.2列族数据库·
5.4.3文档数据库·
5.4.4 图数据库
5.5 NoSQL的三大基石
5.5.1 CAP
5.5.2 BASE
5.5.3*终一致性
5.6 从NoSQL到NewSQL数据库
5.7本章小结
5.8 /span>
实验4 NoSQL和关系数据库的作比较
第6章云数据库
6.pan style="font-family:宋体">云数据库概述
6.1.pan style="font-family:宋体">云计算是云数据库兴起的基础
6.1.2云数据库的概念·
6.1.3 云数据库的特性
6.1.4云数据库是个性化数据存储需求
的理想选择
6.1.5云数据库与其他数据库的关系
6.2云数据库产品
6.2.1 云数据库厂商概述
6.2.2 Amazon的云数据库产品
6.2.3 Google的云数据库产品
6.2.4 Microsoft的云数据库产品
6.2.5其他云数据库产品
6.3云数据库系统架构·
6.3.1UMP系统概述
6.3.2UMP系统架构
6.3.3UMP能
6.4本章小结
6.5 /span>
第三篇大数据处理与分析
第7章 MapReduce
7.1 概述
7.1.pan style="font-family:宋体">分布式并行编程
7.1.2 MapReduce模型简介
7.1.3 Map 和 Reduce 函数
7.2 MapReduce的工作流程
7.2.pan style="font-family:宋体">工作流程概述
7.2.2 MapReduce 的各个执行阶段
7.2.3 Shuffle过程详解
7.3 实例分析:WordCount
7.3.1WordCount的程序任务
7.3.2 WordCount的设计思路
7.3.3 WordCount的具体执行过程
7.3.4 一个 WordCount 执行过程的
实例
7.4 MapReduce 的具体应用
7.4.1 MapReduce在关系代数运算中的
应用
7.4.2分组与聚合运算
7.4.3矩阵-向量乘法
7.4.4矩阵乘法·
7.5 MapReduce编程实践
7.5.pan style="font-family:宋体">任务要求
7.5.2编写Map处理逻辑
7.5.3 编写 Reduce 处理逻辑
7.5.4 编写main方法
7.5.5编译代码以及运行程序
7.6本章小结·
7.7/span>
实验5 MapReduce初级编程实践
第8章 Hadoop再探讨
8.1Hadoop的优化与发展
8.1.1 Hadoop的局限与不足
8.1.2 针对Hadoop的与提升
8.2HDFS 2.0的新特性
8.2.1 HDFS HA
8.2.2 HDFS联邦
8.3新一代资源管理调度框架YARN
8.3.1 MapReduce 1.0的缺陷
8.3.2YARN设计思路
……
11.3.1 应用场景pan>:实时分析
11.3.2应用场景2:实时交通
11.4 开源流计算框架Storm
11.4.1 Storm简介
11.4.2 Storm的特点
11.4.3Storm的设计思想
11.4.4 Storm的框架设计
11.4.5 Storm实例
11.5 Spark Streaming
11.5.1 Spark Streaming 设计
11.5.2 Spark Streaming 与Storm 的
对比
11.6本章小结
11.7/span>
第12章 Flink
12.1 Flink简介
12.2 为什么选择Flink
12.2.pan style="font-family:宋体">传统数据处理架构
12.2.2 大数据Lambda架构 237
12.2.3
流处理架构
12.2.4 Flink是理想的流计算框架239
12.2.5Flink的优势
12.3 Flink 应用场景
12.3.pan style="font-family:宋体">事件驱动型应用
12.3.2数据分析应用
12.3.3数据流水线应用
12.4Flink技术栈
12.5Flink体系架构
12.6Flink编程模型·
12.7Flink编程实践
12.7.1 安装Flink
12.7.2编程实现WordCount程序247
12.8本章小结
12.9 /span>
实验8 Flink初级编程实践
第13章图计算
13.pan style="font-family:宋体">图计算简介
13.1.pan style="font-family:宋体">传统图计算解决方案的不足
之处
13.1.2通用图计算软件
13.2 Pregel 简介
13.3 Pregel图计算模型
13.3.pan style="font-family:宋体">有向图和顶点
13.3.2顶点之间的消息传递 255
13.3.3 Pregel的计算过程256
13.3.4 Pregel 计算过程的实例257
13.4 Pregel的C++ API
13.4.pan style="font-family:宋体">消息传递机制
13.4.2 Combiner·
13.4.3 Aggregator·
13.4.4 拓扑改变
13.4.5输入和输出
13.5 Pregel的体系结构
13.5.1Pregel的执行过程
13.5.2 容错性
13.5.3 Worker·
13.5.4 Master
13.5.5 Aggregator
13.6 Pregel的应用实例
13.6.pan style="font-family:宋体">单源*短路径
13.6.2二分匹配
13.7 Pregel 和MapReduce实现PageRank
算法的对比
13.7.1PageRank算法
13.7.2 PageRank算法在Pregel 中的
实现
13.7.3 PageRank 算法在 MapReduce
中的实现
13.7.4 PageRank算法在 Pregel和
MapReduce 中实现的比较
13.8本章小结
13.9/span>
.
第14章数据可视化
14.pan style="font-family:宋体">可视化概述
14.1.pan style="font-family:宋体">什么是数据可视化
14.1.2可视化的发展历程
14.1.3可视化的重要作用
14.2可视化工具
14.2.pan style="font-family:宋体">入门级工具
14.2.2信息图表工具
14.2.3 地图工具
14.2.4时间线工具
14.2.5高级分析工具
14.3可视化典型案例
14.3.pan style="font-family:宋体">全球黑客活动
14.3.2互联网地图
14.3.3 编程语言之间的影响力关系
14.3.4国家健康与财富之间的
关系
14.3.5 3D可视化互联网地图App
14.4本章小结
14.5/span>
第四篇大数据应用
第15章 大数据在互联网领域的
应用
15.pan style="font-family:宋体">推荐系统概述
15.1.pan style="font-family:宋体">什么是推荐系统
15.1.2长尾理论
15.1.3 推荐方法
15.1.4推荐系统模型
15.1.5推荐系统的应用
15.2 协同过滤
15.2.pan style="font-family:宋体">基于用户的协同过滤
基于物品的协同过滤
15.2.3 UserCF算法和ItemCF算法的
对比
15.3协同过滤实践
15.3.pan style="font-family:宋体">实践背景
15.3.2数据处理
15.3.3 计算相似度矩阵.
15.3.4计算推荐结果.
15.3.5展示推荐结果
15.4本章小结
15.5/span>
第16章大数据在生物医学
领域的应用
16.1 流行病预测
16.1.pan style="font-family:宋体">传统流行病预测机制的不足
16.1.2基于大数据的流行病预测
16.1.3基于大数据的流行病预测的
重要作用
16.2智慧
16.3 生物信息学
16.4案例:基于大数据的综合健康服务
16.4.pan style="font-family:宋体"台概述
16.4.2
16.4.3
16.4.4
16.5本章小结
16.6/span>
第17章 大数据的其他应用306
7.pan style="font-family:宋体">大数据在物流领域中的应用306
17.1.pan style="font-family:宋体">智能物流的概念
17.1.2智能物流的作用
17.1.3 智能物流的应用
17.1.4 大数据是智能物流的关键
17.1.5 中国智能物流骨干网——菜鸟
17.2大数据在城市管理中的应用
17.2.1 智能交通
17.2.2 环保监测
17.2.3城市规划
17.2.4 安防领域
17.3大数据在金融行业中的应用
17.3.1 高频交易
17.3.2市场情绪分析
17.3.3信贷风险分析
17.4大数据在汽车行业中的应用
17.5大数据在行业中的应用
17.5.pan style="font-family:宋体">发现关联购买行为
17.5.2客户群体细分
17.5.3 供应链管理
17.6大数据在餐饮行业中的应用
17.6.pan style="font-family:宋体">餐饮行业拥抱大数据
17.6.2 餐饮
17.7大数据在电信行业中的应用
17.8大数据在能源行业中的应用
17.9大数据在体育和娱乐领域中的
应用·
17.9.1 训练球队
17.9.2 投拍影视作品
17.9.3预测比赛结果
17.10 大数据在领域中的应用
17.10.pan style="font-family:宋体">大数据与国家·
17.10.2应用大数据技术防御网络
攻击
17.10.3警察应用大数据工具
犯罪
17.pan style="font-family:宋体">大数据在政府领域中的应用
17.pan style="font-family:宋体">大数据在日常生活中的应用
17.pan style="font-family:宋体">本章小结
17.pan style="font-family:宋体">/span>
参考文献
展开全部
大数据技术原理与应用:概念、存储、处理、分析与应用 作者简介
林子雨(1978-),男,博士,国内高校知名大数据教师,厦门大学计算机科学系副教授,厦门大学云计算与大数据研究中心创始成员,厦门大学数据库实验室负责人,中国计算机学会数据库专委会委员,中国计算机学会信息系统专委会委员,中国高校**“数字教师”提出者和建设者。2013年开始在厦门大学开设大数据课程,建设了国内高校**大数据课程公共服务平台,平台累计网络访问量超过700万次,成为全国高校大数据教学****,并荣获“2018年福建省教学成果二等奖”,主持的课程《大数据技术原理与应用》获评“2018年国家精品在线开放课程”。主讲课程:《大数据技术原理与应用》《大数据处理技术》《大数据导论》。个人主页:http://dblab.xmu.edu.cn/post/linziyu。E-mail: ziyulin@xmu.edu.cn。数据库实验室网站:http://dblab.xmu.edu.cn。建设了高校大数据课程公共服务平台(http://dblab.xmu.edu.cn/post/bigdata-teaching- platform/),为教师教学和学生学习大数据课程提供包括教学大纲、讲义PPT、学习指南、备课指南、实验指南、上机习题、授课视频、技术资料等全方位、一站式免费服务,平台每年访问量超过200万次,累计访问量超过750万次,同时提供面向高校的大数据实验平台建设方案和大数据课程师资培训服务。