-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
机器学习平台架构实战 版权信息
- ISBN:9787302644873
- 条形码:9787302644873 ; 978-7-302-64487-3
- 装帧:平装-胶订
- 册数:暂无
- 重量:暂无
- 所属分类:>
机器学习平台架构实战 本书特色
随着人工智能和机器学习在许多行业中应用得越来越普遍,对能够将业务需求转化为机器学习解决方案并能够设计机器学习技术平台的机器学习解决方案架构师的需求在不断增加。本书旨在通过帮助人们学习机器学习概念、算法、系统架构模式和机器学习工具来解决业务和技术挑战,重点是企业环境中的大规模机器学习系统架构和操作。
机器学习平台架构实战 内容简介
《机器学习平台架构实战》详细阐述了与机器学习平台架构相关的基本解决方案,主要包括机器学习和机器学习解决方案架构,机器学习的业务用例,机器学习算法,机器学习的数据管理,开源机器学习库,Kubernetes容器编排基础设施管理,开源机器学习平台,使用AWS机器学习服务构建数据科学环境,使用AWS机器学习服务构建企业机器学习架构,高级机器学习工程,机器学习治理、偏差、可解释性和隐私,使用人工智能服务和机器学习平台构建机器学习解决方案等内容。此外,本书还提供了相应的示例、代码,以帮助读者进一步理解相关方案的实现过程。
机器学习平台架构实战 目录
第1章 机器学习和机器学习解决方案架构 3
1.1 人工智能和机器学习的定义 4
1.2 监督机器学习 4
1.3 无监督机器学习 6
1.4 强化学习 8
1.5 机器学习与传统软件 9
1.6 机器学习生命周期 11
1.6.1 业务理解和机器学习问题框架 13
1.6.2 数据理解和数据准备 13
1.6.3 模型训练和评估 14
1.6.4 模型部署 14
1.6.5 模型监控 14
1.6.6 业务指标跟踪 15
1.7 机器学习的挑战 15
1.8 机器学习解决方案架构 16
1.8.1 业务理解和机器学习转型 17
1.8.2 机器学习技术的识别和验证 18
1.8.3 系统架构设计与实现 18
1.8.4 机器学习平台工作流自动化 19
1.8.5 安全性和合规性 19
1.9 小测试 20
1.10 小结 21
第2章 机器学习的业务用例 23
2.1 金融服务中的机器学习用例 23
2.1.1 资本市场前台 24
2.1.2 资本市场后台运营 28
2.1.3 风险管理和欺诈检测 31
2.2 媒体和娱乐领域的机器学习用例 38
2.2.1 内容开发和制作 39
2.2.2 内容管理和发现 39
2.2.3 内容分发和客户参与 40
2.3 医疗保健和生命科学领域的机器学习用例 41
2.3.1 医学影像分析 42
2.3.2 药物发现 43
2.3.3 医疗数据管理 44
2.4 制造业中的机器学习用例 45
2.4.1 工程和产品设计 46
2.4.2 制造运营—产品质量和产量 47
2.4.3 制造运营—机器维护 47
2.5 零售业中的机器学习用例 48
2.5.1 产品搜索和发现 48
2.5.2 目标市场营销 49
2.5.3 情绪分析 50
2.5.4 产品需求预测 50
2.6 机器学习用例识别练习 51
2.7 小结 52
第2篇 机器学习的科学、工具和基础设施平台
第3章 机器学习算法 55
3.1 技术要求 55
3.2 机器学习的原理 56
3.3 机器学习算法概述 58
3.3.1 选择机器学习算法时的注意事项 58
3.3.2 机器学习算法类型 59
3.4 分类和回归问题的算法 59
3.4.1 线性回归算法 59
3.4.2 逻辑回归算法 60
3.4.3 决策树算法 60
3.4.4 随机森林算法 62
3.4.5 梯度提升机和XGBoost算法 64
3.4.6 K*近邻算法 65
3.4.7 多层感知器网络 65
3.4.8 聚类算法 68
3.4.9 K-means算法 68
3.5 时间序列分析算法 68
3.5.1 ARIMA算法 69
3.5.2 DeepAR算法 70
3.6 推荐算法 70
3.6.1 协同过滤算法 71
3.6.2 多臂老虎机/上下文老虎机算法 71
3.7 计算机视觉问题的算法 72
3.7.1 卷积神经网络 72
3.7.2 残差网络 73
3.8 自然语言处理问题的算法 74
3.8.1 Word2Vec 76
3.8.2 循环神经网络和长期短期记忆 77
3.8.3 BERT 78
3.8.4 GPT 82
3.8.5 潜在狄利克雷分配算法 82
3.8.6 生成模型 84
3.8.7 生成对抗网络 84
3.9 动手练习 85
3.9.1 问题陈述 85
3.9.2 数据集描述 86
3.9.3 设置Jupyter Notebook环境 86
3.9.4 运行练习 88
3.10 小结 93
第4章 机器学习的数据管理 95
4.1 技术要求 95
4.2 机器学习的数据管理注意事项 96
4.3 机器学习的数据管理架构 98
4.4 数据存储和管理 100
4.4.1 数据湖 100
4.4.2 AWS Lake Formation 101
4.5 数据提取 102
4.5.1 决定数据提取工具时的注意事项 102
4.5.2 Kinesis Firehose 103
4.5.3 AWS Glue 104
4.5.4 AWS Lambda 105
4.6 数据目录 105
4.6.1 采用数据目录技术的关键考虑因素 105
4.6.2 AWS Glue目录 106
4.7 数据处理 106
4.7.1 数据处理技术的关键要求 106
4.7.2 AWS Glue ETL 107
4.7.3 Amazon Elastic Map Reduce 107
4.7.4 AWS Lambda数据处理 107
4.8 数据版本控制 107
4.8.1 S3分区 108
4.8.2 专用数据版本工具 108
4.9 机器学习特征存储 108
4.10 供客户使用的数据服务 109
4.10.1 通过API使用 109
4.10.2 通过数据复制使用 109
4.11 数据管道 109
4.11.1 AWS Glue工作流 110
4.11.2 AWS步骤函数 110
4.12 身份验证和授权 110
4.13 数据治理 111
4.14 动手练习—机器学习的数据管理 113
4.14.1 使用Lake Formation创建数据湖 114
4.14.2 创建数据提取管道 115
4.14.3 创建Glue目录 116
4.14.4 在数据湖中发现和查询数据 118
4.14.5 创建Amazon Glue ETL作业以处理机器学习数据 119
4.14.6 使用Glue工作流构建数据管道 123
4.15 小结 124
第5章 开源机器学习库 125
5.1 技术要求 125
5.2 开源机器学习库的核心功能 126
5.3 了解scikit-learn机器学习库 126
5.3.1 安装scikit-learn 127
5.3.2 scikit-learn的核心组件 127
5.4 了解Apache Spark机器学习机器学习库 129
5.4.1 安装Spark ML 131
5.4.2 Spark机器学习库的核心组件 131
5.5 了解TensorFlow深度学习库 134
5.5.1 安装TensorFlow 136
5.5.2 TensorFlow的核心组件 136
5.6 动手练习—训练TensorFlow模型 138
5.7 了解PyTorch 深度学习库 141
5.7.1 安装PyTorch 141
5.7.2 PyTorch的核心组件 142
5.8 动手练习—构建和训练PyTorch模型 143
5.9 小结 146
第6章 Kubernetes容器编排基础设施管理 147
6.1 技术要求 147
6.2 容器介绍 147
6.3 Kubernetes概述和核心概念 149
6.4 Kubernetes网络 156
6.4.1 Kubernetes网络通信流程 156
6.4.2 从集群外部访问Pod或服务的选项 158
6.4.3 服务网格 161
6.5 Kubernetes安全和访问控制 163
6.5.1 网络安全 163
6.5.2 API的身份验证和授权 164
6.5.3 在Kubernetes上运行机器学习工作负载 168
6.6 动手练习—在AWS上构建Kubernetes基础设施 169
6.6.1 问题陈述 169
6.6.2 操作指导 169
6.7 小结 175
第3篇 企业机器学习平台的技术架构设计和监管注意事项
第7章 开源机器学习平台 179
7.1 技术要求 179
7.2 机器学习平台的核心组件 179
7.3 用于构建机器学习平台的开源技术 180
7.3.1 将Kubeflow用于数据科学环境 181
7.3.2 搭建模型训练环境 184
7.3.3 使用模型注册表注册模型 186
7.3.4 MLflow模型注册表 186
7.3.5 使用模型服务框架 188
7.3.6 Gunicorn和Flask推理引擎 188
7.3.7 TensorFlow Serving框架 189
7.3.8 TorchServe服务框架 191
7.3.9 KFServing框架 192
7.3.10 Seldon Core 194
7.3.11 自动化机器学习管道工作流程 197
7.3.12 Apache Airflow 197
7.3.13 Kubeflow Pipelines 199
7.4 动手练习—使用开源技术构建数据科学架构 201
7.4.1 第1部分—安装Kubeflow 201
7.4.2 第2部分—跟踪实验和管理模型 206
7.4.3 第3部分—使用机器学习管道实现自动化 213
7.4.4 授予命名空间服务账户访问Istio服务的权限 214
7.4.5 创建自动化管道 215
7.5 小结 225
第8章 使用AWS机器学习服务构建数据科学环境 227
8.1 技术要求 227
8.2 使用SageMaker的数据科学环境架构 228
8.2.1 SageMaker Studio 229
8.2.2 SageMaker Processing 230
8.2.3 SageMaker Training服务 232
8.2.4 SageMaker Tuning 233
8.2.5 SageMaker Experiments 234
8.2.6 SageMaker Hosting 234
8.3 动手练习—使用AWS服务构建数据科学环境 235
8.3.1 问题陈述 235
8.3.2 数据集 235
8.3.3 操作步骤说明 235
8.3.4 设置SageMaker Studio 235
8.3.5 设置CodeCommit 237
8.3.6 在Jupyter Notebook中训练BERT模型 238
8.3.7 使用SageMaker Training服务训练BERT模型 244
8.3.8 部署模型 247
8.3.9 将源代码保存到CodeCommit存储库 249
8.4 小结 249
第9章 使用AWS机器学习服务构建企业机器学习架构 251
9.1 技术要求 251
9.2 企业机器学习平台的关键要求 252
9.3 企业机器学习架构模式概述 253
9.4 模型训练环境 255
9.4.1 模型训练引擎 256
9.4.2 自动化支持 257
9.4.3 模型训练生命周期管理 259
9.5 模型托管环境深入研究 259
9.5.1 推理引擎 260
9.5.2 身份验证和安全控制 263
9.5.3 监控和日志记录 264
9.6 为机器学习工作流采用机器学习运维架构 264
9.6.1 机器学习运维架构的组件 265
9.6.2 监控和记录 269
9.6.3 模型训练监控 269
9.6.4 模型端点监控 272
9.6.5 机器学习管道监控 276
9.6.6 服务配置管理 277
9.7 动手练习—在AWS上构建机器学习运维管道 281
9.7.1 为机器学习培训管道创建CloudFormation模板 282
9.7.2 为CodePipeline训练管道创建CloudFormation模板 285
9.7.3 通过事件启动CodePipeline执行 286
9.7.4 为机器学习部署管道创建CloudFormation模板 287
9.8 小结 290
第10章 高级机器学习工程 291
10.1 技术要求 291
10.2 通过分布式训练方式训练大规模模型 291
10.3 使用数据并行进行分布式模型训练 293
10.3.1 参数服务器概述 294
10.3.2 在框架中实现参数服务器 295
10.3.3 AllReduce概述 296
10.3.4 在框架中实现AllReduce和Ring AllReduce 297
10.4 使用模型并行进行分布式模型训练 298
10.4.1 朴素模型并行性概述 299
10.4.2 管道模型并行性概述 300
10.4.3 张量并行概述 302
10.4.4 实现模型并行训练 303
10.4.5 Megatron-LM概述 303
10.4.6 DeepSpeed概述 305
10.4.7 SageMaker分布式训练库概述 306
10.5 实现低延迟模型推理 307
10.5.1 模型推理的工作原理和可优化的机会 307
10.5.2 硬件加速 308
10.5.3 模型优化 310
10.5.4 图和算子优化 312
10.5.5 模型编译器 314
10.5.6 推理引擎优化 315
10.6 动手练习—使用PyTorch运行分布式模型训练 316
10.6.1 修改训练脚本 316
10.6.2 修改train()函数 317
10.6.3 修改get_data_loader()函数 318
10.6.4 为多设备服务器结点添加多处理启动支持 318
10.6.5 修改和运行启动器notebook 318
10.7 小结 319
第11章 机器学习治理、偏差、可解释性和隐私 321
11.1 技术要求 321
11.2 机器学习治理的定义和实施原因 322
11.2.1 围绕模型风险管理的监管环境 322
11.2.2 机器学习模型风险的常见原因 323
11.3 了解机器学习治理框架 324
11.4 了解机器学习偏差和可解释性 325
11.4.1 偏差检测和减少 325
11.4.2 机器学习可解释性技术 327
11.4.3 LIME 327
11.4.4 SHAP 328
11.5 设计用于治理的机器学习平台 329
11.5.1 数据和模型文档 330
11.5.2 模型清单 331
11.5.3 模型监控 332
11.5.4 变更管理控制 333
11.5.5 世系和可重复性 333
11.5.6 可观察性和审计 333
11.5.7 安全和隐私保护 334
11.5.8 差分隐私 335
11.6 动手练习—检测偏差、模型可解释性和训练隐私保护模型 338
11.6.1 方案概述 338
11.6.2 检测训练数据集中的偏差 339
11.6.3 解释训练模型的特征重要性 342
11.6.4 训练隐私保护模型 343
11.7 小结 345
第12章 使用人工智能服务和机器学习平台构建机器学习解决方案 347
12.1 技术要求 347
12.2 人工智能服务的定义 348
12.3 AWS人工智能服务概述 348
12.3.1 Amazon Comprehend 349
12.3.2 Amazon Textract 351
12.3.3 Amazon Rekognition 352
12.3.4 Amazon Transcribe 354
12.3.5 Amazon Personalize 355
12.3.6 Amazon Lex 357
12.3.7 Amazon Kendra 358
12.3.8 针对机器学习用例评估AWS人工智能服务 359
12.4 使用人工智能服务构建智能解决方案 360
12.4.1 自动化贷款文件验证和数据提取 360
12.4.2 贷款文件分类工作流程 362
12.4.3 贷款数据处理流程 363
12.4.4 媒体处理和分析工作流程 363
12.4.5 电商产品推荐 365
12.4.6 通过智能搜索实现客户自助服务自动化 367
12.5 为人工智能服务设计机器学习运维架构 368
12.5.1 人工智能服务和机器学习运维的AWS账户设置策略 369
12.5.2 跨环境的代码推广 371
12.5.3 监控人工智能服务的运营指标 371
12.6 动手练习—使用人工智能服务运行机器学习任务 372
12.7 小结 376
机器学习平台架构实战 作者简介
戴维·平是一位资深技术领导者,在技术和金融服务行业拥有超过25年的经验。他的技术重点领域包括云架构、企业机器学习平台设计、大规模的模型训练、智能文档处理、智能媒体处理、智能搜索和数据平台。他目前在AWS领导一个人工智能/机器学习解决方案架构团队,帮助全球公司在AWS云中设计和构建人工智能/机器学习解决方案。在加入AWS之前,David在Credit Suisse和JPMorgan担任过多种高级技术领导职务。他的职业生涯始于英特尔的软件工程师。David拥有康奈尔大学的工程学位。
-
”互联网+“时代计算机算法的应用及其实践研究
¥19.9¥59 -
微服务设计
¥52.8¥69 -
图说深度学习:用可视化方法理解复杂概念
¥109¥188 -
计算机基础
¥17.2¥31 -
改变未来的九大算法
¥50¥68 -
生成式AI入门与AWS实战
¥77.8¥99.8