扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
营销管理
-
>
茶叶里的全球贸易史(精装)
-
>
近代华商股票市场制度与实践(1872—1937)
-
>
麦肯锡图表工作法
-
>
底层逻辑:看清这个世界的底牌
-
>
李诞脱口秀工作手册
-
>
成事:冯唐品读曾国藩嘉言钞
数据资产管理核心技术与应用 版权信息
- ISBN：9787302666998
- 条形码：9787302666998 ; 978-7-302-66699-8
- 装帧：平装-胶订
- 册数：暂无
- 重量：暂无
- 所属分类：>>
数据资产管理核心技术与应用 本书特色
《数据资产管理核心技术与应用》从核心技术和应用实践两个角度，讲述如何管理好数据资产、如何解决数据资产管理中面临的诸多技术痛点，帮助数据资产管理者、开发者架构好数据服务的技术基础，从而帮助数据资产使用人员、数据分析师、经营决策人员等快速地找到自己想要的数据，让数据可以发挥出更大的价值。
数据资产管理核心技术与应用 内容简介
《数据资产管理核心技术与应用》深入探讨数据资产管理的核心技术与应用，融入作者在大数据领域多年的丰富经验。《数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架，并详解两个基于该框架进行数据资产管理的应用案例，使读者能更好地了解数据资产管理底层所涉及的众多核心技术，让数据可以发挥出更大的价值。《数据资产管理核心技术与应用》配套PPT课件、示例源代码、作者微信群答疑服务。 全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。 《数据资产管理核心技术与应用》适合数据资产管理者、数据资产管理初学者、数据应用开发工程师、数据分析师、数据库管理员、架构师、产品经理、技术经理作为技术参考书，也适合高等院校或高职高专数据资产管理相关课程的教学参考书。
数据资产管理核心技术与应用 目录
第 1 章 认识数据资产 1
1.1 数据资产的基本介绍 1
1.2 数据资产的分类 4
1.3 数据资产的价值评估 5
1.4 数据资产的质量 6
1.5 数据资产的存储 6
1.6 数据资产管理 9
1.7 数据资产管理的信息化建设 11
1.8 数据资产与人工智能 11
第 2 章 元数据的采集与存储 13
2.1 Hive中的元数据采集 14
2.1.1 基于Hive Meta DB的元数据采集 14
2.1.2 基于Hive Catalog的元数据采集 18
2.1.3 基于Spark Catalog的元数据采集 21
2.2 Delta Lake中的元数据采集 29
2.2.1 基于Delta Lake自身设计来采集元数据 31
2.2.2 基于Spark Catalog来采集元数据 32
2.3 MySQL中的元数据采集 34
2.4 Apache Hudi中的元数据采集 41
2.4.1 基于Spark Catalog采集元数据 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元数据 47
2.5 Apache Iceberg中的元数据采集 49
2.5.1 Iceberg的元数据设计 50
2.5.2 Iceberg元数据的采集 54
2.6 元数据的存储模型设计 56
2.6.1 如何对元数据进行整合 56
2.6.2 元数据的存储模型设计 57
第 3 章 数据血缘 59
3.1 获取数据血缘的技术实现 59
3.1.1 如何从Hive中获取数据血缘 60
3.1.2 从Spark执行计划中获取数据血缘 66
3.1.3 从Spark SQL语句中获取数据血缘 82
3.1.4 从Flink中获取数据血缘 91
3.1.5 从数据任务的编排系统中获取数据血缘 92
3.2 数据血缘的存储模型与展示设计 94
第 4 章 数据质量的技术实现 98
4.1 质量数据采集的技术实现 100
4.1.1 定义数据采集的规则 100
4.1.2 定时Job的技术选型 103
4.2 如何处理采集到的质量数据 109
4.3 质量数据的存储模型设计 110
4.4 常见的开源数据质量管理平台 112
4.4.1 Apache Griffin 112
4.4.2 Qualitis 113
第 5 章 数据监控与告警 116
5.1 数据监控 116
5.1.1 数据监控的种类 116
5.1.2 监控数据的特点与存储方式 117
5.2 常见的数据监控目标 118
5.2.1 数据链路监控 118
5.2.2 数据任务监控 124
5.2.3 数据质量监控 125
5.2.4 数据服务监控 125
5.2.5 数据处理资源监控 126
5.3 Prometheus简介 128
5.4 Grafana简介 135
5.5 使用Grafana和Prometheus来实现数据监控与告警 138
5.5.1 数据链路的告警实现 138
5.5.2 数据任务的告警实现 141
5.5.3 数据质量的告警实现 142
5.5.4 数据服务的告警实现 142
5.5.5 数据处理资源的告警实现 143
第 6 章 数据服务 146
6.1 如何设计数据服务 146
6.1.1 数据源管理 148
6.1.2 数据服务的敏捷化和可配置化 148
6.1.3 数据服务文档的自动生成 151
6.1.4 数据服务的统一认证与鉴权 151
6.1.5 数据服务的监控与告警 153
6.2 数据服务的性能 155
6.3 数据服务的熔断与降级 159
第 7 章 数据权限与安全 163
7.1 常见的权限设计模式 163
7.1.1 基于角色的访问控制 164
7.1.2 基于属性的访问控制 165
7.1.3 基于对象的访问控制 165
7.2 数据权限 166
7.2.1 列权限控制 167
7.2.2 行权限控制 170
7.3 数据脱敏 171
7.4 数据安全 174
第 8 章 数据资产架构 176
8.1 数据资产的架构设计 177
8.1.1 数据获取层 177
8.1.2 数据处理层 178
8.1.3 数据存储层 180
8.1.4 数据管理层 182
8.1.5 数据分析层 182
8.1.6 数据服务层 183
8.2 常见的开源数据资产管理平台 185
8.2.1 Apache Atlas 185
8.2.2 Data Hub 186
8.2.3 OpenMetadata 189
第 9 章 元数据管理实践 193
9.1 如何理解元数据 194
9.1.1 为何需要元数据 194
9.1.2 如何让元数据产生更大价值 195
9.1.3 元数据分类及其好处 196
9.1.4 元数据管理 198
9.1.5 参与角色 201
9.2 元数据管理 202
9.2.1 元数据模型的组织关系 202
9.2.2 元数据的采集 204
9.2.3 业务域设计 205
9.2.4 业务术语设计 209
9.2.5 元数据标签设计 212
9.2.6 数据Owner 214
9.2.7 数据生命周期 215
9.2.8 元数据注册和发布 216
9.2.9 核心功能介绍 218
第 10 章 数据建模实践 224
10.1 什么是数据建模 224
10.1.1 数据模型分类 224
10.1.2 数据建模方法 227
10.2 数据仓库建模架构 229
10.3 关系型数据建模 231
10.3.1 概念模型阶段 231
10.3.2 逻辑模型阶段 235
10.3.3 物理模型阶段 238
10.4 维度建模 240
10.4.1 基本概念 240
10.4.2 维度表设计 246
10.4.3 事实表分类 250
10.4.4 基于维度建模的数据分析实践 251
参考文献 253
1.1 数据资产的基本介绍 1
1.2 数据资产的分类 4
1.3 数据资产的价值评估 5
1.4 数据资产的质量 6
1.5 数据资产的存储 6
1.6 数据资产管理 9
1.7 数据资产管理的信息化建设 11
1.8 数据资产与人工智能 11
第 2 章 元数据的采集与存储 13
2.1 Hive中的元数据采集 14
2.1.1 基于Hive Meta DB的元数据采集 14
2.1.2 基于Hive Catalog的元数据采集 18
2.1.3 基于Spark Catalog的元数据采集 21
2.2 Delta Lake中的元数据采集 29
2.2.1 基于Delta Lake自身设计来采集元数据 31
2.2.2 基于Spark Catalog来采集元数据 32
2.3 MySQL中的元数据采集 34
2.4 Apache Hudi中的元数据采集 41
2.4.1 基于Spark Catalog采集元数据 42
2.4.2 Hudi Timeline Meta Server 43
2.4.3 基于Hive Meta DB采集元数据 47
2.5 Apache Iceberg中的元数据采集 49
2.5.1 Iceberg的元数据设计 50
2.5.2 Iceberg元数据的采集 54
2.6 元数据的存储模型设计 56
2.6.1 如何对元数据进行整合 56
2.6.2 元数据的存储模型设计 57
第 3 章 数据血缘 59
3.1 获取数据血缘的技术实现 59
3.1.1 如何从Hive中获取数据血缘 60
3.1.2 从Spark执行计划中获取数据血缘 66
3.1.3 从Spark SQL语句中获取数据血缘 82
3.1.4 从Flink中获取数据血缘 91
3.1.5 从数据任务的编排系统中获取数据血缘 92
3.2 数据血缘的存储模型与展示设计 94
第 4 章 数据质量的技术实现 98
4.1 质量数据采集的技术实现 100
4.1.1 定义数据采集的规则 100
4.1.2 定时Job的技术选型 103
4.2 如何处理采集到的质量数据 109
4.3 质量数据的存储模型设计 110
4.4 常见的开源数据质量管理平台 112
4.4.1 Apache Griffin 112
4.4.2 Qualitis 113
第 5 章 数据监控与告警 116
5.1 数据监控 116
5.1.1 数据监控的种类 116
5.1.2 监控数据的特点与存储方式 117
5.2 常见的数据监控目标 118
5.2.1 数据链路监控 118
5.2.2 数据任务监控 124
5.2.3 数据质量监控 125
5.2.4 数据服务监控 125
5.2.5 数据处理资源监控 126
5.3 Prometheus简介 128
5.4 Grafana简介 135
5.5 使用Grafana和Prometheus来实现数据监控与告警 138
5.5.1 数据链路的告警实现 138
5.5.2 数据任务的告警实现 141
5.5.3 数据质量的告警实现 142
5.5.4 数据服务的告警实现 142
5.5.5 数据处理资源的告警实现 143
第 6 章 数据服务 146
6.1 如何设计数据服务 146
6.1.1 数据源管理 148
6.1.2 数据服务的敏捷化和可配置化 148
6.1.3 数据服务文档的自动生成 151
6.1.4 数据服务的统一认证与鉴权 151
6.1.5 数据服务的监控与告警 153
6.2 数据服务的性能 155
6.3 数据服务的熔断与降级 159
第 7 章 数据权限与安全 163
7.1 常见的权限设计模式 163
7.1.1 基于角色的访问控制 164
7.1.2 基于属性的访问控制 165
7.1.3 基于对象的访问控制 165
7.2 数据权限 166
7.2.1 列权限控制 167
7.2.2 行权限控制 170
7.3 数据脱敏 171
7.4 数据安全 174
第 8 章 数据资产架构 176
8.1 数据资产的架构设计 177
8.1.1 数据获取层 177
8.1.2 数据处理层 178
8.1.3 数据存储层 180
8.1.4 数据管理层 182
8.1.5 数据分析层 182
8.1.6 数据服务层 183
8.2 常见的开源数据资产管理平台 185
8.2.1 Apache Atlas 185
8.2.2 Data Hub 186
8.2.3 OpenMetadata 189
第 9 章 元数据管理实践 193
9.1 如何理解元数据 194
9.1.1 为何需要元数据 194
9.1.2 如何让元数据产生更大价值 195
9.1.3 元数据分类及其好处 196
9.1.4 元数据管理 198
9.1.5 参与角色 201
9.2 元数据管理 202
9.2.1 元数据模型的组织关系 202
9.2.2 元数据的采集 204
9.2.3 业务域设计 205
9.2.4 业务术语设计 209
9.2.5 元数据标签设计 212
9.2.6 数据Owner 214
9.2.7 数据生命周期 215
9.2.8 元数据注册和发布 216
9.2.9 核心功能介绍 218
第 10 章 数据建模实践 224
10.1 什么是数据建模 224
10.1.1 数据模型分类 224
10.1.2 数据建模方法 227
10.2 数据仓库建模架构 229
10.3 关系型数据建模 231
10.3.1 概念模型阶段 231
10.3.2 逻辑模型阶段 235
10.3.3 物理模型阶段 238
10.4 维度建模 240
10.4.1 基本概念 240
10.4.2 维度表设计 246
10.4.3 事实表分类 250
10.4.4 基于维度建模的数据分析实践 251
参考文献 253
展开全部
数据资产管理核心技术与应用 相关资料
福特中国新能源技术、数字化及整车硬件研发执行总监 陈兵 我相信，本书的出版将为广大数据从业者、研究者和管理者提供宝贵的参考和借鉴。本书将帮助我们更好地理解数据资产和数据应用的重要性和价值，推动我们在实践中不断探索和创新，共同开创数据治理和数据应用的美好未来。 Apache DolphinScheduler PMC Chair、Apache SeaTunnel PMC 代立冬 我与本书的作者永清是因为当下十分流行的大数据工作流调度平台Apache DolphinScheduler 开源项目结识的。永清是该项目的积极贡献者，也是国内开源社区的活跃参与者。国内开源社区的发展需要众多开发贡献者的积极参与来壮大本土开源。希望开源社区能有更多像永清这样的伙伴，将自己的技术和经验以书籍的形式输出，更好地服务大众。 福特中国数字化高级经理 周杨 本书从技术和实战两个角度很好的解决了大数据资产管理中面临的诸多痛点问题，手把手指导企业或者组织对大数据资产的管理、分析和挖掘，从而更加深入的掌握市场走势、提升自身产品的体验以及运营效率，在产品竞争中能始终立于不败之地。 Databricks高级架构师 吴舒 我与永清认识于2021年底，当时的他正负责评估Databricks平台的计算引擎和存储介质的接入，当时我们一起探讨测试过很多书中讨论的技术内容。这本书详细探讨了很多企业级数据平台比较头疼的问题——如何更好地管理数据与元数据，尤其是像Databricks这样有开源基因的商用SaaS平台如何与其他开源技术更好的整合，以符合用户的最终实际需要，这在业界是比较罕见的实操案例，而良好的数据管理是企业级生成式AI真正的护城河，相信这本实战书籍能带给读者一些启发。
数据资产管理核心技术与应用 作者简介
张永清，从事功能测试、自动化测试、性能测试、Java软件开发、大数据开发、架构师等工作十多年，在自动化测试设计、性能测试设计、性能诊断、性能调优、分布式架构设计等方面积累了多年经验。参与过的系统涉及公安、互联网、移动互联网、大数据、人工智能等领域。先后任职于江苏飞搏软件、苏宁大数据研发中心、苏宁研究院、苏宁人工智能研发中心、紫金普惠研发中心、福特汽车工程研究有限公司，历任测试经理、技术经理、部门经理、高级架构师等职位。重点关注大数据、图像处理、高性能分布式架构设计等领域。著有图书《软件性能测试、分析与调优实践之路（第2版）》《软件性能测试、分析与调优实践之路》《Robot Framework自动化测试框架核心指南》。
书友推荐
- >
随园食单
随园食单
¥21.6¥48.0 - >
上帝之肋:男人的真实旅程
上帝之肋:男人的真实旅程
¥30.5¥35.0 - >
小考拉的故事-套装共3册
小考拉的故事-套装共3册
¥36.7¥68.0 - >
回忆爱玛侬
回忆爱玛侬
¥9.8¥32.8 - >
莉莉和章鱼
莉莉和章鱼
¥19.7¥42.0 - >
李白与唐代文化
李白与唐代文化
¥12.5¥29.8 - >
伊索寓言-世界文学名著典藏-全译本
伊索寓言-世界文学名著典藏-全译本
¥9.3¥19.0 - >
烟与镜
烟与镜
¥15.4¥48.0
本类畅销
-
上市公司财务分析-揭开财务数字的神秘面纱
¥24¥72 -
财务案例(第11版)
¥25.9¥58 -
4.23文创礼盒A款--“作家言我精神状态”
¥42.3¥206 -
4.23文创礼盒B款--“作家言我精神状态”
¥42.3¥206 -
一句顶一万句 (印签版)
¥40.4¥68 -
百年书评史散论
¥14.9¥38
