扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
Hadoop大数据技术原理与编程 微课版 版权信息
- ISBN：9787302666790
- 条形码：9787302666790 ; 978-7-302-66679-0
- 装帧：70g胶版纸
- 册数：暂无
- 重量：暂无
- 所属分类：>
Hadoop大数据技术原理与编程 微课版 本书特色
内容系统全面：涵盖Hadoop大部分生态组件。 理论实践结合：每章知识点配丰富实例实践。 原理浅显易懂：对操作给出示例代码和注解。 入门门槛较低：零基础轻松快速掌握Hadoop。 配套资源丰富：有教学课件、教学大纲、源代码、教学视频。 提供全套PPT教学课件、专业培养计划、教案、教学大纲、教学进度表。
Hadoop大数据技术原理与编程 微课版 内容简介
本书系统介绍了大数据技术的相关知识,全书共13章,内容包括Hadoop大数据处理架构、HDFS分布式文件系统、YARN资源管理、MapReduce分布式计算框架、HBase分布式数据库、流数据采集、典型非关系数据库的安装与使用、分布式数据分析工具Pig、Spark大数据处理框架、基于Python语言的Spark RDD编程、基于Python语言的Spark SQL结构化数据处理、Hive分布式数据仓库、典型数据可视化工具的使用。本书对大数据相关技术给出详细的编程示例，并给出详细的注解。
本书可作为高等院校计算机、信息管理、软件工程、人工智能、数据科学与大数据技术等相关专业的大数据技术课程教材，也可供相关技术人员参考。
Hadoop大数据技术原理与编程 微课版 目录
目录
第1章Hadoop大数据处理架构1
1.1大数据的基本概念1
1.1.1大数据时代1
1.1.2大数据定义1
1.1.3大数据的特征2
1.1.4大数据思维2
1.2大数据计算模式与典型系统3
1.2.1批处理计算模式与典型系统3
1.2.2流式计算模式与典型系统4
1.2.3迭代计算模式与典型系统4
1.2.4图计算模式与典型系统4
1.2.5内存计算模式与典型系统5
1.3Hadoop发展历程5
1.4Hadoop优缺点6
1.5Hadoop生态圈6
1.6在VirtualBox上搭建Linux操作系统8
1.6.1创建Master节点9
1.6.2克隆虚拟电脑17
1.7Hadoop安装前的准备工作21
1.7.1创建hadoop用户22
1.7.2安装SSH、配置SSH无密码登录23
1.7.3安装Java环境23
1.7.4Linux操作系统下Scala版本的Eclipse的安装与配置… 24
1.7.5Eclipse环境下Java语言程序开发实例25
1.8Hadoop的安装与配置28
1.8.1下载Hadoop安装文件28
1.8.2Hadoop单机模式配置28
1.8.3Hadoop伪分布式模式配置30
1.8.4Hadoop分布式模式配置34
1.9习题43
第2章HDFS分布式文件系统44
2.1HDFS基本特征44
2.2HDFS存储架构及组件功能45
2.2.1HDFS存储架构45
2.2.2数据块45
2.2.3数据节点46
2.2.4名称节点46
2.2.5第二名称节点47
2.2.6心跳消息47
2.2.7客户端48
2.3HDFS读写文件流程48
2.3.1HDFS读文件流程48
2.3.2HDFS写文件流程49
2.4HDFS的Shell操作50
2.4.1查看命令使用方法50
2.4.2HDFS常用的Shell操作52
2.4.3HDFS管理员命令55
2.4.4HDFS的Java API操作57
2.5案例实战1： 修改文件名58
2.5.1在Eclipse中创建项目58
2.5.2为项目添加需要用到的JAR包58
2.5.3编写Java语言应用程序60
2.5.4编译运行程序62
2.5.5应用程序的部署63
2.6案例实战2： 文件读取、上传和下载65
2.6.1读取文件内容66
2.6.2文件上传和下载66
2.7习题67
第3章YARN资源管理68
3.1YARN概述68
3.2YARN基础架构68
3.2.1Container68
3.2.2ResourceManager69
3.2.3NodeManager69
3.2.4Application Master70
3.2.5Client70
3.3YARN常用命令70
3.3.1YARN启动与停止70
3.3.2用户命令71
3.3.3管理命令73
3.4习题74
第4章MapReduce分布式计算框架75
4.1MapReduce工作原理75
4.1.1MapReduce并行编程核心思想75
4.1.2Map函数和Reduce函数75
4.2MapReduce工作机制77
4.2.1Map任务工作机制78
4.2.2Reduce任务工作机制79
4.3MapReduce编程类80
4.3.1InputFormat数据输入格式类81
4.3.2Mapper类85
4.3.3Combiner合并类86
4.3.4Partitioner分区类87
4.3.5Sort排序类87
4.3.6Reducer归约类87
4.3.7OutputFormat输出格式类88
4.4MapReduce编程实现词频统计89
4.4.1WordCount执行流程89
4.4.2WordCount具体实现91
4.4.3使用Eclipse编译运行词频统计程序94
4.5习题100
第5章HBase分布式数据库101
5.1HBase概述101
5.1.1HBase的技术特点101
5.1.2HBase与传统关系数据库的区别101
5.1.3HBase与Hadoop中其他组件的关系102
5.2HBase系统架构和数据访问流程102
5.2.1HBase系统架构102
5.2.2HBase数据访问流程105
5.3HBase数据表107
5.3.1HBase数据表逻辑视图107
5.3.2HBase数据表物理视图109
5.3.3HBase数据表面向列的存储110
5.3.4HBase数据表的查询方式111
5.3.5HBase表结构设计111
5.4HBase的安装112
5.4.1下载安装文件112
5.4.2配置环境变量112
5.4.3添加用户权限113
5.4.4查看HBase版本信息113
5.5HBase的配置113
5.5.1单机模式配置114
5.5.2伪分布式模式配置115
5.6HBase的Shell操作117
5.6.1基本操作117
5.6.2创建表118
5.6.3插入与更新表中的数据119
5.6.4查看表中的数据120
5.6.5删除表中的数据122
5.6.6表的启用/禁用122
5.6.7修改表结构122
5.6.8删除HBase表123
5.7HBase的Java API操作123
5.7.1HBase数据库管理API123
5.7.2HBase数据库表API124
5.7.3HBase数据库表行列API126
5.8HBase案例实战127
5.8.1在Eclipse中创建工程127
5.8.2添加项目用到的JAR包128
5.8.3编写Java语言应用程序129
5.8.4编译运行程序132
5.9利用Python语言操作HBase133
5.9.1HappyBase的安装133
5.9.2Connection类133
5.9.3Table类134
5.10拓展阅读——HBase存储策略的启示134
5.11习题135
第6章流数据采集136
6.1流数据采集工具Flume136
6.1.1Flume概述136
6.1.2Flume组成架构136
6.1.3Flume安装139
6.1.4Flume简单使用141
6.2Kafka分布式发布订阅消息系统142
6.2.1Kafka基本架构142
6.2.2Kafka安装143
6.2.3Kafka测试实例144
6.3习题145
第7章典型非关系数据库的安装与使用146
7.1NoSQL数据库概述146
7.1.1NoSQL数据库兴起的原因146
7.1.2NoSQL数据库的特点147
7.2“键值”数据库147
7.2.1Redis安装147
7.2.2Redis数据库的特点149
7.2.3Redis数据库的基本数据类型149
7.3列族数据库154
7.4文档数据库154
7.4.1MongoDB简介154
7.4.2MongoDB下载与安装154
7.4.3MongoDB文档操作158
7.4.4MongoDB集合操作161
7.4.5MongoDB数据库操作162
7.4.6MongoDB数据类型163
7.5图数据库164
7.5.1下载和安装Neo4j164
7.5.2Neo4j的启动和停止165
7.5.3Neo4j的CQL操作167
7.5.4在Neo4j浏览器中创建节点和关系169
7.6习题170
第8章分布式数据分析工具Pig171
8.1Pig概述171
8.2Pig安装与配置171
8.2.1Pig安装171
8.2.2配置环境变量172
8.2.3Pig运行模式和工作方式172
8.3Pig Latin语言173
8.3.1Pig Latin语言基本概念173
8.3.2Pig Latin语言数据类型174
8.3.3Pig操作HDFS文件系统常用的命令175
8.3.4实用程序命令176
8.3.5Pig常用的数据分析命令177
8.4习题180
第9章Spark大数据处理框架181
9.1Spark概述181
9.1.1Spark的产生背景181
9.1.2Spark的优点182
9.1.3Spark的应用场景182
9.1.4Spark的生态系统182
9.2Spark运行机制184
9.2.1Spark基本概念184
9.2.2Spark运行架构186
9.3Spark的安装与配置186
9.3.1下载Spark安装文件187
9.3.2单机模式配置187
9.3.3伪分布式模式配置188
9.4使用PySpark编写Python语言代码190
9.5安装pip工具和常用的数据分析库191
9.6安装Anaconda和配置Jupyter Notebook192
9.6.1安装Anaconda192
9.6.2配置Jupyter Notebook193
9.6.3运行Jupyter Notebook194
9.6.4配置Jupyter Notebook实现和PySpark交互196
9.6.5为Anaconda安装扩展库197
9.7习题197
第10章基于Python语言的Spark RDD编程198
10.1RDD的创建方式198
10.1.1使用程序中的数据集创建RDD198
10.1.2使用文本文件创建RDD200
10.1.3使用JSON文件创建RDD201
10.1.4使用CSV文件创建RDD203
10.2RDD转换操作203
10.2.1映射操作203
10.2.2去重操作205
10.2.3排序操作206
10.2.4分组聚合操作208
10.2.5集合操作210
10.2.6抽样操作211
10.2.7连接操作方法211
10.2.8打包操作方法212
10.2.9获取键值对RDD的键和值集合212
10.2.10重新分区操作212
10.3RDD行动操作214
10.3.1统计操作215
10.3.2取数据操作216
10.3.3聚合操作217
10.3.4迭代操作217
10.3.5存储操作218
10.4RDD之间的依赖关系218
10.4.1窄依赖219
10.4.2宽依赖219
10.5RDD的持久化219
10.6案例实战: 利用Spark RDD实现词频统计221
10.7实验1: RDD编程实验222
10.8拓展阅读——中国女排精神223
10.9习题224
第11章基于Python语言的Spark SQL结构化数据处理225
11.1Spark SQL概述225
11.1.1Spark SQL简介225
11.1.2DataFrame与DataSet225
11.2创建DataFrame对象的方法226
11.2.1使用Parquet文件创建DataFrame对象226
11.2.2使用JSON文件创建DataFrame对象227
11.2.3使用SparkSession方式创建DataFrame对象228
11.3将DataFrame对象保存为不同格式的文件232
11.3.1通过write.xxx()方法保存DataFrame对象232
11.3.2通过write.format()方法保存DataFrame对象233
11.3.3将DataFrame对象转化成RDD保存到文件中233
11.4DataFrame的常用操作233
11.4.1行类操作233
11.4.2列类操作234
11.4.3DataFrame的常用属性236
11.4.4输出236
11.4.5筛选239
11.4.6排序241
11.4.7汇总与聚合243
11.4.8统计244
11.4.9合并245
11.4.10连接245
11.4.11to系列转换247
11.5读写MySQL数据库248
11.5.1安装并配置MySQL数据库248
11.5.2读取MySQL数据库中的数据250
11.5.3向MySQL数据库写入数据250
11.6实验2: Spark SQL编程实验251
11.7拓展阅读——中国芯片之路253
11.8习题254
第12章Hive分布式数据仓库255
12.1Hive分布式数据仓库概述255
12.2Hive的安装255
12.2.1下载Hive安装文件255
12.2.2配置Hive环境变量256
12.2.3修改Hive配置文件256
12.2.4安装并配置MySQL数据库257
12.3MySQL数据库常用操作259
12.3.1数据库基本语句259
12.3.2数据表基本语句261
12.4Hive的数据类型264
12.5Hive基本操作265
12.5.1数据库操作265
12.5.2创建表266
12.5.3创建带有分区的表267
12.5.4查看和修改表268
12.6习题269
第13章典型数据可视化工具的使用270
13.1WordCloud绘制词云图270
13.2PyeCharts数据可视化274
13.2.1绘制柱状图275
13.2.2绘制折线图277
13.2.3绘制饼图278
13.2.4绘制雷达图279
13.2.5绘制漏斗图280
13.2.6绘制3D柱状图280
13.2.7绘制词云图281
13.3Tableau绘图282
13.3.1Tableau的主要特性282
13.3.2Tableau工作表工作区283
13.3.3Tableau仪表板工作区288
13.3.4Tableau故事工作区289
13.3.5Tableau菜单栏290
13.3.6Tableau可视化与数据分析举例291
13.4习题293
参考文献294
展开全部
Hadoop大数据技术原理与编程 微课版 作者简介
曹洁，博士，毕业于同济大学电子与信息工程学院计算机软件与理论专业；主要研究方向是并行分布式处理、云计算、大数据；主持和参与国家级、省部级项目5项；在《软件学报》《计算机研究与发展》《通信学报》等国内外核心刊物上发表学术论文12篇；主讲“Python语言程序设计”“大数据技术及应用”“云计算技术”等课程；主编《Python语言程序设计》（微课版），参编《数据挖掘》《Struts2+Hibermate框架技术教程》（第2版）等多部教材。 齐平，博士，铜陵学院数学与计算机学院副教授、服务计算研究所所长、人工智能教研室主任。长期从事边缘智能、边缘计算资源调度等方面的研究工作。
书友推荐
- >
小考拉的故事-套装共3册
小考拉的故事-套装共3册
¥36.7¥68.0 - >
【精装绘本】画给孩子的中国神话
【精装绘本】画给孩子的中国神话
¥19.3¥55.0 - >
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
¥6.3¥14.0 - >
唐代进士录
唐代进士录
¥15.1¥39.8 - >
人文阅读与收藏·良友文学丛书:一天的工作
人文阅读与收藏·良友文学丛书:一天的工作
¥20.2¥45.8 - >
二体千字文
二体千字文
¥14.0¥40.0 - >
李白与唐代文化
李白与唐代文化
¥11.9¥29.8 - >
苦雨斋序跋文-周作人自编集
苦雨斋序跋文-周作人自编集
¥5.8¥16.0
本类畅销
-
Photoshop 2022中文版案例教程
¥44.1¥59.8 -
局域网组建、管理与维护(第4版)(微课版)
¥47¥59 -
园林AUTOCAD教程
¥24¥45 -
Python实战编程:从零学Python
¥81¥108 -
Java程序设计基础
¥37¥50 -
数据备份与恢复
¥51.4¥69
