书馨卡帮你省薪 2024个人购书报告 2024中图网年度报告
欢迎光临中图网 请 | 注册
> >>
实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时)

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时)

作者:杨俊
出版社:机械工业出版社出版时间:2021-06-01
开本: 16开 页数: 236
中 图 价:¥72.3(7.3折) 定价  ¥99.0 登录后可看到会员价
加入购物车 收藏
运费6元,满39元免运费
?新疆、西藏除外
本类五星书更多>

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时) 版权信息

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时) 本书特色

适读人群 :面向大数据开发工程师,大数据运维工程师面向大数据开发工程师,大数据运维工程师围绕Hadoop、Spark、Flink三大主流平台,详解大数据平台的搭建及数据分析(离线/实时)随书配备全套数据集、安装包、配置文件、海量教学视频(近30GB),方便学用

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时) 内容简介

《实战大数据(Hadoop+Spark+Flink)——从平台构建到交互式数据分析(离线/实时)》详细介绍了大数据工程师在实际工作中应该熟练掌握的大数据技术。全书共8章,分别是大数据技术概述、搭建IDEA开发环境及Linux虚拟机、基于Hadoop构建大数据平台、基于HBase和Kafka构建海量数据存储与交换系统、用户行为离线分析—构建日志采集和分析平台、基于Spark的用户行为实时分析、基于Flink的用户行为实时分析、用户行为数据可视化。本书以一个完整的大数据项目为主线,涵盖Hadoop、Spark、Flink等主流大数据技术,按照大数据工程师的项目开发流程,理论与实践结合,逐步推进,使读者在学习大数据核心技术的同时,也能掌握开发大数据项目的完整流程,从而获得大数据项目开发经验。《实战大数据(Hadoop+Spark+Flink)——从平台构建到交互式数据分析(离线/实时)》既可以作为大数据工程师的**开发手册,也可以作为高校大数据及相关专业的教材或实验手册。

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时) 目录

目录 前言 第1章 大数据技术概述1 1.1 什么是大数据1 1.2 大数据平台架构1 1.2.1 数据获取2 1.2.2 数据存储2 1.2.3 数据处理3 1.2.4 交互式分析3 1.2.5 机器学习与数据挖掘4 1.2.6 资源管理4 1.3 大数据工程师的技能树4 1.3.1 大数据主流开发语言5 1.3.2 大数据平台的构建5 1.3.3 大数据采集5 1.3.4 大数据存储与交换5 1.3.5 大数据离线计算5 1.3.6 大数据实时计算6 1.4 大数据项目需求分析与设计6 1.4.1 项目需求分析6 1.4.2 系统架构设计7 1.4.3 离线和实时计算数据流程设计8 1.4.4 大数据平台规划8 1.5 本章小结9 第2章 搭建IDEA开发环境及Linux 虚拟机10 2.1 搭建IDEA开发环境10 2.1.1 JDK 的安装与配置10 2.1.2 Maven 的安装与配置12 2.1.3 IDEA 的安装与配置13 2.1.4 使用IDEA构建Maven项目17 2.2 搭建Linux虚拟机19 2.2.1 安装Linux系统19 2.2.2 配置Linux静态IP19 2.2.3 Linux主机名和IP映射20 2.2.4 关闭Linux防火墙20 2.2.5 创建Linux用户和用户组20 2.2.6 Linux SSH免密登录21 2.3 本章小结22 第3章 基于Hadoop构建大数据 平台23 3.1 Zookeeper分布式协调服务23 3.1.1 Zookeeper架构设计及原理23 3.1.2 Zookeeper集群安装前的准备 工作26 3.1.3 Zookeeper集群的安装部署29 3.1.4 Zookeeper shell的操作32 3.2 HDFS分布式文件系统34 3.2.1 HDFS架构设计及原理34 3.2.2 HDFS的高可用(HA)42 3.2.3 HDFS联邦机制44 3.3 YARN资源管理系统44 3.3.1 YARN架构设计及原理45 3.3.2 MapReduce on YARN工作流程48 3.3.3 YARN的容错性49 3.3.4 YARN的高可用(HA)49 3.3.5 YARN的调度器及使用50 3.4 Hadoop分布式集群的构建53 3.4.1 HDFS分布式集群的构建53 3.4.2 YARN分布式集群的构建58 3.4.3 Hadoop集群运行测试61 3.4.4 Hadoop集群调优62 3.5 MapReduce分布式计算框架64 3.5.1 MapReduce概述64 3.5.2 MapReduce编程模型67 3.5.3 MapReduce应用示例68 3.5.4 WordCount代码实现70 3.6 本章小结72 第4章 基于HBase和Kafka构建 海量数据存储与交换系统73 4.1 构建HBase分布式实时 数据库73 4.1.1 HBase概述73 4.1.2 HBase架构设计76 4.1.3 HBase分布式集群的构建78 4.1.4 HBase性能调优82 4.1.5 HBase新闻业务表建模86 4.2 搭建Kafka分布式消息系统86 4.2.1 Kafka概述86 4.2.2 Kafka架构设计87 4.2.3 Kafka分布式集群的构建89 4.2.4 Kafka集群监控92 4.3 本章小结94 第5章 用户行为离线分析——构建 日志采集和分析平台95 5.1 搭建Flume日志采集系统95 5.1.1 Flume概述95 5.1.2 Flume架构设计96 5.1.3 Flume环境的搭建98 5.1.4 构建Flume集群100 5.2 使用Flume采集用户行为 数据102 5.2.1 Flume与Kafka集成102 5.2.2 Flume与HBase集成104 5.2.3 Flume与Kafka、HBase集成109 5.3 基于Hive的离线大数据分析112 5.3.1 Hive概述112 5.3.2 Hive架构设计112 5.3.3 Hive的安装部署117 5.3.4 Hive在大数据仓库中的应用120 5.3.5 Hive与HBase集成121 5.4 基于Hive 的用户行为数据 离线分析122 5.4.1 离线项目架构设计122 5.4.2 用户行为离线分析123 5.5 本章小结126 第6章 基于Spark的用户行为实时 分析127 6.1 Spark快速入门127 6.1.1 Spark概述127 6.1.2 Spark的*简安装128 6.1.3 Spark实现WordCount129 6.2 Spark Core的核心功能131 6.2.1 Spark架构的原理131 6.2.2 弹性分布式数据集RDD132 6.2.3 Spark 算子133 6.2.4 Pair RDD及算子135 6.3 Spark分布式集群的构建135 6.3.1 Spark的运行模式135 6.3.2 Standalone模式集群的构建136 6.3.3 Spark on YARN模式集群的 构建139 6.4 基于Spark Streaming的新闻 项目实时分析140 6.4.1 Spark Streaming概述140 6.4.2 Spark Streaming的运行原理141 6.4.3 Spark Streaming编程模型142 6.4.4 Spark Streaming实时分析用户 行为144 6.5 基于Spark SQL的新闻项目 离线分析157 6.5.1 Spark SQL架构的原理157 6.5.2 Spark SQL与Hive、MySQL、 HBase集成158 6.5.3 Spark SQL用户行为离线分析162 6.6 基于Spark Structured Streaming 的新闻项目实时分析167 6.6.1 Structured Streaming概述167 6.6.2 Structured Streaming编程模型168 6.6.3 基于Structured Streaming的用户 行为实时分析168 6.7 本章小结173 第7章 基于Flink的用户行为实时 分析174 7.1 Flink快速入门174 7.1.1 Flink概述174 7.1.2 Flink的*简安装176 7.1.3 Flink实现WordCount177 7.2 Flink分布式集群的构建181 7.2.1 Flink的运行模式181 7.2.2 Flink Standalone模式集群的 构建181 7.2.3 Flink on YARN模式集群的构建184 7.3 基于Flink DataStream的新闻 项目实时分析187 7.3.1 Flink DataStream概述187 7.3.2 Flink DataStream 编程模型188
展开全部

实战大数据(Hadoop+Spark+Flink)??从平台构建到交互式数据分析(离线/实时) 作者简介

杨俊,大数据架构师。大数据技术达人, Hadoop源码级技术专家,擅长Hadoop、Spark、Flink等主流大数据生态技术。具有近10年大数据开发经验,参与过10余个重量级大数据项目。曾任广电数据咨询公司大数据高级架构师,负责大数据平台架构设计与实施,并构建企业级数据仓库。畅销书《Hadoop大数据技术基础与应用》作者。51CTO知名培训讲师,拥有20余万粉丝,具有丰富的大数据技术培训经验,为数十家企业、院校开展过大数据技术课程培训。

商品评论(0条)
暂无评论……
书友推荐
本类畅销
编辑推荐
返回顶部
中图网
在线客服