扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
深度剖析-Hadoop HDFS 版权信息
- ISBN：9787111562078
- 条形码：9787111562078 ; 978-7-111-56207-8
- 装帧：暂无
- 册数：暂无
- 重量：暂无
- 所属分类：>>
深度剖析-Hadoop HDFS 本书特色
本书不会是纯源码分析的书籍。首先，我把工作实践中遇到的许多经验写入了书中，第7章便属于纯实践型的经验总结。其次，本书会是一个比较“新”的书，这里的“新”并不是指所分析的代码版本新，而是包含了HDFS未来的一些比较棒的功能特性，以及Hadoop社区目前在做的一些事情。在这本书中，你会看到许多与社区相关的JIRA，了解如何从社区上找到问题的解决办法。期待本书能给你带来更多的启发。
深度剖析-Hadoop HDFS 内容简介
本书基于Hadoop2.7.1版本进行分析，全面描述了HDFS2.X的核心技术与解决方案，书中描述了HDFS内存存储、异构存储等几大核心设计，包括源码细节层面的分析，对于HDFS中比较特殊的几个场景过程也做了细粒度的分析。还分享了作者在实际应用中的解决方案及扩展思路。阅读本书可以帮助读者从架构设计与功能实现角度了解HDFS2.X，同时还能学习HDFS2.X框架中设计思想、设计模式、Java语言技巧等。这些对于读者全面提高自己分布式技术水平有很大的帮助。本书分为三大部分：核心设计篇、细节实现篇、解决方案篇，“核心设计篇”包括HDFS的数据存储原理、HDFS的数据管理与策略选择机制、HDFS的新颖功能特性；“细节实现篇”包括HDFS的块处理、流量处理等细节，以及部分结构分析；“解决方案篇”包括HDFS的数据管理、HDFS的数据读写、HDFS的异常场景等。本书适合于云计算相关领域研发人员、云计算相关运维工程师、高年级研究生或本科、热衷于分布式计算研究的人。
深度剖析-Hadoop HDFS 目录
前言
部分 核心设计篇
第1章 HDFS的数据存储 2
1.1 HDFS内存存储 2
1.1.1 HDFS内存存储原理 2
1.1.2 Linux 虚拟内存盘 4
1.1.3 HDFS的内存存储流程分析 4
1.1.4 LAZY_PERSIST内存存储的使用 14
1.2 HDFS异构存储 15
1.2.1 异构存储类型 16
1.2.2 异构存储原理 17
1.2.3 块存储类型选择策略 22
1.2.4 块存储策略集合 24
1.2.5 块存储策略的调用 27
1.2.6 HDFS异构存储策略的不足之处 28
1.2.7 HDFS存储策略的使用 30
1.3 小结 31
第2章 HDFS的数据管理与策略选择 32
2.1 HDFS缓存与缓存块 32
2.1.1 HDFS物理层面缓存块 33
2.1.2 缓存块的生命周期状态 34
2.1.3 CacheBlock、UnCacheBlock场景触发 36
2.1.4 CacheBlock、UnCacheBlock缓存块的确定 38
2.1.5 系统持有的缓存块列表如何更新 39
2.1.6 缓存块的使用 40
2.1.7 HDFS缓存相关配置 40
2.2 HDFS中心缓存管理 42
2.2.1 HDFS缓存适用场景 43
2.2.2 HDFS缓存的结构设计 43
2.2.3 HDFS缓存管理机制分析 45
2.2.4 HDFS中心缓存疑问点 55
2.2.5 HDFS CacheAdmin命令使用 56
2.3 HDFS快照管理 58
2.3.1 快照概念 59
2.3.2 HDFS中的快照相关命令 59
2.3.3 HDFS内部的快照管理机制 60
2.3.4 HDFS的快照使用 71
2.4 HDFS副本放置策略 72
2.4.1 副本放置策略概念与方法 72
2.4.2 副本放置策略的有效前提 73
2.4.3 默认副本放置策略的分析 73
2.4.4 目标存储好坏的判断 82
2.4.5 chooseTargets的调用 83
2.4.6 BlockPlacementPolicyWithNodeGroup继承类 84
2.4.7 副本放置策略的结果验证 85
2.5 HDFS内部的认证机制 85
2.5.1 BlockToken认证 85
2.5.2 HDFS的Sasl认证 91
2.5.3 BlockToken认证与HDFS的Sasl认证对比 97
2.6 HDFS内部的磁盘目录服务 98
2.6.1 HDFS的三大磁盘目录检测扫描服务 98
2.6.2 DiskChecker：坏盘检测服务 99
2.6.3 DirectoryScanner：目录扫描服务 104
2.6.4 VolumeScanner：磁盘目录扫描服务 110
2.7 小结 116
第3章 HDFS的新颖功能特性 117
3.1 HDFS视图文件系统：ViewFileSystem 117
3.2 HDFS的Web文件系统：WebHdfsFileSystem 126
3.3 HDFS数据加密空间：Encryptiozone 136
3.4 HDFS纠删码技术 145
3.5 HDFS对象存储：Ozone 152
3.6 小结 158
第二部分 细节实现篇
第4章 HDFS的块处理 160
4.1 HDFS块检查命令fsck 160
4.2 HDFS如何检测并删除多余副本块 171
4.3 HDFS数据块的汇报与处理 179
4.4 小结 193
第5章 HDFS的流量处理 194
5.1 HDFS的内部限流 194
5.2 数据平衡 204
5.3 HDFS节点内数据平衡 210
5.4 小结 216
第6章 HDFS的部分结构分析 217
6.1 HDFS镜像文件的解析与反解析 217
6.2 DataNode数据处理中心DataXceiver 227
6.3 HDFS邻近信息块：BlockInfoContiguous 235
6.4 小结 246
第三部分 解决方案篇
第7章 HDFS的数据管理 248
7.1 HDFS的读写限流方案 248
7.2 HDFS数据资源使用量分析以及趋势预测 250
7.3 HDFS数据迁移解决方案 257
7.4 DataNode迁移方案 265
7.5 HDFS集群重命名方案 268
7.6 HDFS的配置管理方案 271
7.7 小结 273
第8章 HDFS的数据读写 274
8.1 DataNode引用计数磁盘选择策略 274
8.2 Hadoop节点“慢磁盘”监控 282
8.3 小结 287
第9章 HDFS的异常场景 288
9.1 DataNode慢启动问题 288
9.2 Hadoop中止下线操作后大量剩余复制块问题 295
9.3 DFSOutputStream的DataStreamer线程泄漏问题 306
9.4 小结 319
附录 如何向开源社区提交自己的代码 320
部分 核心设计篇
第1章 HDFS的数据存储 2
1.1 HDFS内存存储 2
1.1.1 HDFS内存存储原理 2
1.1.2 Linux 虚拟内存盘 4
1.1.3 HDFS的内存存储流程分析 4
1.1.4 LAZY_PERSIST内存存储的使用 14
1.2 HDFS异构存储 15
1.2.1 异构存储类型 16
1.2.2 异构存储原理 17
1.2.3 块存储类型选择策略 22
1.2.4 块存储策略集合 24
1.2.5 块存储策略的调用 27
1.2.6 HDFS异构存储策略的不足之处 28
1.2.7 HDFS存储策略的使用 30
1.3 小结 31
第2章 HDFS的数据管理与策略选择 32
2.1 HDFS缓存与缓存块 32
2.1.1 HDFS物理层面缓存块 33
2.1.2 缓存块的生命周期状态 34
2.1.3 CacheBlock、UnCacheBlock场景触发 36
2.1.4 CacheBlock、UnCacheBlock缓存块的确定 38
2.1.5 系统持有的缓存块列表如何更新 39
2.1.6 缓存块的使用 40
2.1.7 HDFS缓存相关配置 40
2.2 HDFS中心缓存管理 42
2.2.1 HDFS缓存适用场景 43
2.2.2 HDFS缓存的结构设计 43
2.2.3 HDFS缓存管理机制分析 45
2.2.4 HDFS中心缓存疑问点 55
2.2.5 HDFS CacheAdmin命令使用 56
2.3 HDFS快照管理 58
2.3.1 快照概念 59
2.3.2 HDFS中的快照相关命令 59
2.3.3 HDFS内部的快照管理机制 60
2.3.4 HDFS的快照使用 71
2.4 HDFS副本放置策略 72
2.4.1 副本放置策略概念与方法 72
2.4.2 副本放置策略的有效前提 73
2.4.3 默认副本放置策略的分析 73
2.4.4 目标存储好坏的判断 82
2.4.5 chooseTargets的调用 83
2.4.6 BlockPlacementPolicyWithNodeGroup继承类 84
2.4.7 副本放置策略的结果验证 85
2.5 HDFS内部的认证机制 85
2.5.1 BlockToken认证 85
2.5.2 HDFS的Sasl认证 91
2.5.3 BlockToken认证与HDFS的Sasl认证对比 97
2.6 HDFS内部的磁盘目录服务 98
2.6.1 HDFS的三大磁盘目录检测扫描服务 98
2.6.2 DiskChecker：坏盘检测服务 99
2.6.3 DirectoryScanner：目录扫描服务 104
2.6.4 VolumeScanner：磁盘目录扫描服务 110
2.7 小结 116
第3章 HDFS的新颖功能特性 117
3.1 HDFS视图文件系统：ViewFileSystem 117
3.2 HDFS的Web文件系统：WebHdfsFileSystem 126
3.3 HDFS数据加密空间：Encryptiozone 136
3.4 HDFS纠删码技术 145
3.5 HDFS对象存储：Ozone 152
3.6 小结 158
第二部分 细节实现篇
第4章 HDFS的块处理 160
4.1 HDFS块检查命令fsck 160
4.2 HDFS如何检测并删除多余副本块 171
4.3 HDFS数据块的汇报与处理 179
4.4 小结 193
第5章 HDFS的流量处理 194
5.1 HDFS的内部限流 194
5.2 数据平衡 204
5.3 HDFS节点内数据平衡 210
5.4 小结 216
第6章 HDFS的部分结构分析 217
6.1 HDFS镜像文件的解析与反解析 217
6.2 DataNode数据处理中心DataXceiver 227
6.3 HDFS邻近信息块：BlockInfoContiguous 235
6.4 小结 246
第三部分 解决方案篇
第7章 HDFS的数据管理 248
7.1 HDFS的读写限流方案 248
7.2 HDFS数据资源使用量分析以及趋势预测 250
7.3 HDFS数据迁移解决方案 257
7.4 DataNode迁移方案 265
7.5 HDFS集群重命名方案 268
7.6 HDFS的配置管理方案 271
7.7 小结 273
第8章 HDFS的数据读写 274
8.1 DataNode引用计数磁盘选择策略 274
8.2 Hadoop节点“慢磁盘”监控 282
8.3 小结 287
第9章 HDFS的异常场景 288
9.1 DataNode慢启动问题 288
9.2 Hadoop中止下线操作后大量剩余复制块问题 295
9.3 DFSOutputStream的DataStreamer线程泄漏问题 306
9.4 小结 319
附录 如何向开源社区提交自己的代码 320
展开全部
书友推荐
- >
巴金－再思录
巴金－再思录
¥14.7¥46.0 - >
回忆爱玛侬
回忆爱玛侬
¥23.0¥32.8 - >
龙榆生：词曲概论/大家小书
龙榆生：词曲概论/大家小书
¥13.0¥24.0 - >
月亮与六便士
月亮与六便士
¥15.1¥42.0 - >
李白与唐代文化
李白与唐代文化
¥8.9¥29.8 - >
经典常谈
经典常谈
¥12.7¥39.8 - >
有舍有得是人生
有舍有得是人生
¥17.1¥45.0 - >
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
企鹅口袋书系列·伟大的思想20:论自然选择(英汉双语)
¥6.3¥14.0
本类畅销
-
网络工程师教程(第2版)
¥69.3¥99 -
Python 数据分析基础
¥41¥69 -
Python 3.5从零开始学
¥26.4¥59 -
虚拟化与容器技术
¥49.9¥69.8 -
UG NX 11.0工程图教程-(含1DVD)
¥30.4¥59.9 -
程序设计语言编译原理(第3版)
¥25.4¥39
