超值优惠券
¥50
100可用 有效期2天

全场图书通用(淘书团除外)

不再提示
关闭
图书盲袋,以书为“药”
欢迎光临中图网 请 | 注册
> >
大数据技术基础

大数据技术基础

作者:中科普开
出版社:清华大学出版社出版时间:2016-06-01
开本: 16开 页数: 247
中 图 价:¥29.4(6.0折) 定价  ¥49.0 登录后可看到会员价
加入购物车 收藏
运费6元,满39元免运费
?新疆、西藏除外
本类五星书更多>

大数据技术基础 版权信息

  • ISBN:9787302437574
  • 条形码:9787302437574 ; 978-7-302-43757-4
  • 装帧:一般胶版纸
  • 册数:暂无
  • 重量:暂无
  • 所属分类:>

大数据技术基础 本书特色

《大数据技术基础》以理论与实践相结合的方式讲解了大数据技术基础  通过三个经典案例详细讲述企业级MapReduce数据处理  所有案例均来源于企业,贴近实战,内容充实,拒绝空洞

大数据技术基础 内容简介

  《大数据技术基础》的知识架构是在培训了多届学员的基础上总结整理得来的,已经经过了实践的考验,证实了其科学性;该书当中的案例都为企业实际开发的案例,通过学习这些大量的实际案例,帮助学生在进入企业后可以很快融入大数据工作岗位。  该书包括大数据概论、初识Hadoop、认识HDFS、HDFS的运行机制、访问HDFS、Hadoop I/O详解、认识MapReduce编程模型.MapReduce应用编程开发、MapReduce的工作机制与YARN平台、MapReduce高级开发、MapReduce实例共11章内容。  《大数据技术基础》既可作为高等院校学习大数据技术的教材,亦可作为广大大数据技术学习者的入门用书。

大数据技术基础 目录

第1章大数据概论001 1.1大数据时代背景001 1.1.1大数据的数据源001 1.1.2大数据的价值和影响002 1.1.3大数据技术应用场景003 1.1.4大数据技术的发展前景004 1.2大数据基本概念005 1.2.1大数据定义005 1.2.2大数据结构类型007 1.2.3大数据核心特征007 1.2.4大数据技术008 1.2.5行业应用大数据实例010 1.3大数据系统011 1.3.1设计目标和原则011 1.3.2当前大数据系统012 1.4大数据与企业016 1.4.1大数据对企业的挑战性016 1.4.2企业大数据的发展方向019 1.4.3企业大数据观020 本章小结020 习题021 第2章初识Hadoop022 2.1Hadoop简介022 2.1.1Hadoop概况022 2.1.2Hadoop的功能和作用023 2.1.3Hadoop的优势023 2.1.4Hadoop的发展史024 2.1.5Hadoop的应用前景025 2.2深入了解Hadoop025 2.2.1Hadoop的体系结构025 2.2.2Hadoop与分布式开发027 2.2.3Hadoop生态系统029 2.3Hadoop与其他系统030 2.3.1Hadoop与关系型数据库管理系统030 2.3.2Hadoop与云计算032 2.4Hadoop应用案例032 2.4.1Hadoop在百度的应用032 2.4.2Hadoop在Yahoo!的应用033 2.4.3Hadoop在eBay的应用035 本章小结037 习题037 大数据 技术基础 目录 第3章认识HDFS039 3.1HDFS简介039 3.2HDFS的特性和设计目标040 3.2.1HDFS的特性040 3.2.2HDFS的设计目标041 3.3HDFS的核心设计042 3.3.1数据块042 3.3.2数据复制042 3.3.3数据副本的存放策略043 3.3.4机架感知045 3.3.5安全模式046 3.3.6负载均衡047 3.3.7心跳机制048 3.4HDFS的体系结构049 3.4.1Master/Slave架构049 3.4.2NameNode、SecondaryNameNode、DataNode050 本章小结055 习题055 第4章HDFS的运行机制056 4.1HDFS中数据流的读写056 4.1.1RPC实现流程056 4.1.2RPC实现模型057 4.1.3文件的读取059 4.1.4文件的写入060 4.1.5文件的一致模型061 4.2HDFS的HA机制062 4.2.1为什么有HA机制062 4.2.2HA集群和架构063 4.3HDFS的Federation机制064 4.3.1为什么引入Federation机制064 4.3.2Federation架构066 4.3.3多命名空间管理067 本章小结067 习题068 第5章访问HDFS069 5.1命令行常用接口069 5.1.1HDFS操作体验069 5.1.2HDFS常用命令071 5.2Java接口073 5.2.1从Hadoop URL中读取数据074 5.2.2通过FileSystem API读取数据075 5.2.3写入数据076 5.2.4创建目录078 5.2.5查询文件系统078 5.2.6删除数据081 5.3其他常用接口081 5.3.1Thrift081 5.3.2C语言082 5.3.3HTTP082 本章小结082 习题083 第6章Hadoop I/O详解084 6.1数据完整性084 6.1.1HDFS的数据完整性084 6.1.2验证数据完整性085 6.2文件压缩086 6.2.1Hadoop支持的压缩格式086 6.2.2压缩解压缩算法codec087 6.2.3压缩和输入分片091 6.3文件序列化092 6.3.1Writable接口093 6.3.2WritableComparable接口094 6.3.3Writable实现类095 6.3.4自定义Writable接口100 6.3.5序列化框架104 6.4Hadoop文件的数据结构104 6.4.1SequenceFile存储104 6.4.2MapFile存储108 本章小结111 习题111第7章识识MapReduce编程模型113 7.1MapReduce编程模型简介113 7.1.1什么是MapReduce113 7.1.2MapReduce程序的设计方法114 7.1.3新旧MapReduce简介115 7.1.4Hadoop MapReduce架构116 7.1.5MapReduce的优缺点117 7.2WordCount编程实例118 7.2.1WordCount的设计思路118 7.2.2编写WordCount代码118 7.2.3运行程序119 7.2.4代码讲解120 7.3MapReduce的编程122 7.3.1配置开发环境122 7.3.2编写Mapper类124 7.3.3编写Reducer类125 7.3.4编写main函数125 7.4MapReduce在集群上的运作127 7.4.1作业的打包和启动127 7.4.2MapReduce的Web界面128 7.4.3获取结果130 本章小结131 习题131 第8章MapReduce应用编程开发132 8.1MapReduce类型与格式132 8.1.1MapReduce的类型132 8.1.2输入格式137 8.1.3输出格式148 8.2Java API解析150 8.2.1作业配置与提交151 8.2.2InputFormat接口的设计与实现152 8.2.3OutputFormat接口的设计与实现157 8.2.4Mapper与Reducer解析159 本章小结163 习题163 第9MapReduce的工作机制与YARN平台165 9.1YARN平台简介165 9.1.1YARN的诞生165 9.1.2YARN的作用166 9.2YARN的架构166 9.2.1ResourceManager167 9.2.2ApplicationMaster168 9.2.3NodeManager168 9.2.4资源模型169 9.2.5ResourceRequest和Container169 9.2.6Container规范170 9.3剖析MapReduce作业运行机制170 9.4基于YARN的运行机制剖析171 9.5Shuffle和排序175 9.5.1map端175 9.5.2reduce端176 9.6任务的执行178 9.6.1任务执行环境178 9.6.2推测执行179 9.6.3关于OutputCommitters180 9.6.4任务JVM重用181 9.6.5跳过坏记录182 9.7作业的调度182 9.7.1公平调度器183 9.7.2容量调度器183 9.8在YARN上运行MapReduce实例184 9.8.1运行Pi实例184 9.8.2使用Web GUI监控实例185 本章小结189 习题190 第10章MapReduce高级开发191 10.1计数器191 10.1.1内置计数器191 10.1.2自定义的Java计数器193 10.2数据去重194 10.2.1实例描述194 10.2.2设计思路194 10.2.3程序代码194 10.3排序195 10.3.1实例描述196 10.3.2设计思路196 10.3.3程序代码196 10.4二次排序197 10.4.1二次排序原理197 10.4.2二次排序的算法流程198 10.4.3代码实现199 10.5平均值202 10.5.1实例描述202 10.5.2设计思路202 10.5.3程序代码203 10.6Join联接204 10.6.1Map端Join204 10.6.2Reduce端Join205 10.6.3Join实现表关联205 10.7倒排索引209 10.7.1倒排索引的分析和设计209 10.7.2倒排索引完整源码213 10.7.3运行代码结果214 本章小结215 习题215 第11章MapReduce实例216 11.1搜索引擎日志处理216 11.1.1背景介绍216 11.1.2数据收集216 11.1.3数据结构216 11.1.4需求分析217 11.1.5MapReduce编码实现217 11.2汽车销售数据分析223 11.2.1背景介绍224 11.2.2数据收集224 11.2.3数据结构 224 11.2.4需求分析224 11.2.5MapReduce编码实现225 11.3农产品价格分析234 11.3.1背景介绍234 11.3.2数据收集235 11.3.3数据结构235 11.3.4需求分析236 11.3.5MapReduce编码实现236 参考文献248
展开全部
商品评论(0条)
暂无评论……
书友推荐
本类畅销
编辑推荐
返回顶部
中图网
在线客服