扫一扫
关注中图网
官方微博
本类五星书更多>
-
>
决战行测5000题(言语理解与表达)
-
>
软件性能测试.分析与调优实践之路
-
>
第一行代码Android
-
>
深度学习
-
>
Unreal Engine 4蓝图完全学习教程
-
>
深入理解计算机系统-原书第3版
-
>
Word/Excel PPT 2013办公应用从入门到精通-(附赠1DVD.含语音视频教学+办公模板+PDF电子书)
深度序列模型与自然语言处理 基于TensorFlow2实践 版权信息
- ISBN：9787302629610
- 条形码：9787302629610 ; 978-7-302-62961-0
- 装帧：平装-胶订
- 册数：暂无
- 重量：暂无
- 所属分类：>
深度序列模型与自然语言处理 基于TensorFlow2实践 本书特色
《深度序列模型与自然语言处理：基于TensorFlow2实践》旨在帮助读者掌握深度学习和自然语言处理的基本原理和实际运用，讲述了*新的研究成果，以及人们*感兴趣的深度学习生成自然语言等热门领域。此外，《深度序列模型与自然语言处理：基于TensorFlow2实践》提供了基于深度学习框架TensorFlow的实际编程示例，使理论与实践相辅相成。
深度序列模型与自然语言处理 基于TensorFlow2实践 内容简介
本书以自然语言和语音信号处理两大应用领域为载体,详细介绍深度学习中的各种常用序列模型。在讲述理论知识的同时辅以代码实现和 讲解,帮助读者深入掌握相关知识技能。
本书共12章,不仅涵盖了词向量、循环神经网络、卷积神经网络、Transformer等 基础知识,还 囊括了注意力机制、序列到序列问题等 专题,同时还包含其他书籍中较少涉及的预训练语言模型、生成对抗网络、强化学习、流模型 等前沿内容,以拓宽读者视野。
本书既适合互联网公司算法I程师等群体阅读,又可以作为本科高年级或研究生级别的自然语言处理和深 度学习课程的参考教材。
深度序列模型与自然语言处理 基于TensorFlow2实践 目录
目 录
第1章 深度学习与自然语言处理概述1
1.1 自然语言处理简史 2
1.1.1 自然语言处理能做什么 2
1.1.2 自然语言处理的发展史 4
1.2 深度学习的兴起 6
1.2.1 从机器学习到深度学习 6
1.2.2 深度学习框架 16
1.2.3 TensorFlow 2程序样例 19
第2章 词向量的前世今生 21
2.1 文本预处理的流程 22
2.2 前深度学习时代的词向量 23
2.2.1 独热向量 23
2.2.2 分布式表示 24
2.3 深度学习时代的词向量 26
2.3.1 词向量的分类 26
2.3.2 可视化词向量 27
2.3.3 词向量在下游任务中的使用 29
2.4 Word2vec数学原理 30
2.4.1 语言模型及其评价 30
2.4.2 神经网络概率语言模型 32
2.4.3 Word2vec原理 33
2.5 用TensorFlow实现Word2vec 38
2.5.1 数据准备 38
2.5.2 模型构建及训练 40
2.5.3 词向量评估与Gensim实践 41
第3章 循环神经网络之一： 输入和输出 45
3.1 循环神经网络的输入和输出 46
3.1.1 循环神经网络的状态与输出 46
3.1.2 输入和输出一一对应 48
3.1.3 一对多和多对一 49
3.1.4 任意长度的输入和输出 50
3.2 区分RNN和RNNCell 51
3.2.1 基类Layer 52
3.2.2 RNNCell接口 53
3.2.3 RNN接口 54
3.3 简单循环神经网络实例 54
3.4 三种常见的RNN 56
3.4.1 SimpleRNN 57
3.4.2 LSTM 58
3.4.3 GRU 61
3.5 双向和多层RNN 63
3.5.1 双向RNN 63
3.5.2 单向多层RNN 65
3.5.3 双向多层RNN 67
第 4 章 循环神经网络之二：高级 71
4.1 在RNN中使用Dropout 71
4.1.1 全连接层中的Dropout 71
4.1.2 RNN中的Dropout 73
4.2 RNN中的梯度流动 75
4.2.1 时序反向传播算法 75
4.2.2 LSTM的梯度流 79
4.3 RNN中的归一化方法 83
4.3.1 批归一化 84
4.3.2 层归一化 87
第 5 章 循环神经网络之三： 实战技巧 92
5.1 序列分类 92
5.1.1 MNIST数字图像分类 92
5.1.2 变长序列处理与情感分析 94
5.2 超长序列的处理 100
5.2.1 状态传递与数据准备 101
5.2.2 字符级语言模型 104
5.3 序列标注和条件随机场 110
5.3.1 IOB格式 110
5.3.2 CONLL2003命名实体识别 111
5.3.3 条件随机场 115
5.4 中间层输出的提取 119
第 6 章 序列到序列问题 127
6.1 序列到序列问题概述 127
6.1.1 序列到序列问题的两个代表 127
6.1.2 三种序列到序列模型 128
6.2 CTC 130
6.2.1 CTC 模型结构 131
6.2.2 长短序列的转换 132
6.2.3 计算标签序列的概率 133
6.2.4 CTC 的推断算法 136
6.2.5 CTC的缺陷 139
6.2.6 TensorFlow中的CTC 139
6.3 Transducer 141
6.3.1 Transducer模型结构 141
6.3.2 Transducer的对齐网格 142
6.3.3 Transducer的训练算法 144
6.3.4 Transducer模型的推断 145
6.3.5 Transducer的贪心解码算法 145
6.3.6 Transducer的集束搜索解码算法 146
6.4 编码器-解码器架构 148
6.4.1 编码器-解码器架构简介 149
6.4.2 编码器-解码器架构代码示例 151
6.4.3 编码器-解码器架构的其他应用 153
6.5 文本生成问题的数据处理流程 153
第 7 章 注意力机制 157
7.1 编码器-解码器-注意力架构概述 157
7.2 两种注意力机制的具体实现 160
7.2.1 加性注意力 160
7.2.2 乘性注意力 161
7.2.3 对注意力机制的理解 163
7.3 TensorFlow中的注意力机制 164
7.3.1 熟悉 tfa.seq2seq164
7.3.2 注意力模块的引入 171
7.4 注意力机制的其他应用 179
第 8 章 超越序列表示：树和图 181
8.1 自然语言中的树结构 181
8.2 递归神经网络：TreeLSTM 183
8.2.1 递归神经网络简介 183
8.2.2 TreeLSTM 两例 185
8.2.3 N元树形LSTM的TensorFlow实现 187
8.3 树形 LSTM 的其他问题 189
8.3.1 树形递归 189
8.3.2 动态批处理 191
8.3.3 结构反向传播算法 191
8.3.4 树形 LSTM 的必要性 192
8.4 图与自然语言处理 193
8.4.1 LSTM 的其他拓展 193
8.4.2 图神经网络的应用 195
第 9 章 卷积神经网络 199
9.1 离散卷积的定义 200
9.1.1 卷积的维度 200
9.1.2 卷积的参数 202
9.2 卷积神经网络的两个实例 204
9.2.1 文本分类与 TextCNN 205
9.2.2 语音合成与 WaveNet 208
第10章 Transformer 219
10.1 Transformer 模型结构介绍 220
10.1.1 注意力层 222
10.1.2 前馈神经网络层 227
10.1.3 残差连接与层归一化 228
10.1.4 位置信息的引入 229
10.1.5 Transformer 整体结构 232
10.2 Transformer：实现与思考 233
10.2.1 从零实现 Transformer 233
10.2.2 训练和推断 244
10.2.3 关于Transformer模块的反思 249
10.3 Transformer 模型的拓展 253
10.3.1 平方复杂度与显存优化 253
10.3.2 图灵完备性与归纳偏置 258
10.3.3 非自回归模型 259
10.4 Transformer与其他模型的联系 261
第11章 预训练语言模型 263
11.1 预训练语言模型发展简史 264
11.2 GPT 266
11.2.1 语言模型 精调解决一切问题 266
11.2.2 GPT-2 和 GPT-3：大力出奇迹 270
11.2.3 GPT系列全回顾 276
11.3 BERT 277
11.3.1 为什么 GPT 和 ELMo 还不够好 277
11.3.2 无监督语料知识提取方案 278
11.3.3 在下游任务上精调 BERT 282
11.3.4 BERT 改进方案 284
11.4 后预训练时代 287
第12章 其他复杂模型 289
12.1 生成对抗网络 289
12.1.1 生成对抗网络简介 289
12.1.2 生成对抗网络与无监督机器翻译 293
12.2 强化学习 300
12.2.1 强化学习基本概念 300
12.2.2 策略梯度和 REINFORCE 算法 303
12.2.3 强化学习与文本生成 305
12.3 流模型 309
12.3.1 归一化流简介 310
12.3.2 逆自回归流与并行 WaveNet 312
参考文献 316
附录一 插图 334
附录二 算法 337
附录三 术语表 338
第1章 深度学习与自然语言处理概述1
1.1 自然语言处理简史 2
1.1.1 自然语言处理能做什么 2
1.1.2 自然语言处理的发展史 4
1.2 深度学习的兴起 6
1.2.1 从机器学习到深度学习 6
1.2.2 深度学习框架 16
1.2.3 TensorFlow 2程序样例 19
第2章 词向量的前世今生 21
2.1 文本预处理的流程 22
2.2 前深度学习时代的词向量 23
2.2.1 独热向量 23
2.2.2 分布式表示 24
2.3 深度学习时代的词向量 26
2.3.1 词向量的分类 26
2.3.2 可视化词向量 27
2.3.3 词向量在下游任务中的使用 29
2.4 Word2vec数学原理 30
2.4.1 语言模型及其评价 30
2.4.2 神经网络概率语言模型 32
2.4.3 Word2vec原理 33
2.5 用TensorFlow实现Word2vec 38
2.5.1 数据准备 38
2.5.2 模型构建及训练 40
2.5.3 词向量评估与Gensim实践 41
第3章 循环神经网络之一： 输入和输出 45
3.1 循环神经网络的输入和输出 46
3.1.1 循环神经网络的状态与输出 46
3.1.2 输入和输出一一对应 48
3.1.3 一对多和多对一 49
3.1.4 任意长度的输入和输出 50
3.2 区分RNN和RNNCell 51
3.2.1 基类Layer 52
3.2.2 RNNCell接口 53
3.2.3 RNN接口 54
3.3 简单循环神经网络实例 54
3.4 三种常见的RNN 56
3.4.1 SimpleRNN 57
3.4.2 LSTM 58
3.4.3 GRU 61
3.5 双向和多层RNN 63
3.5.1 双向RNN 63
3.5.2 单向多层RNN 65
3.5.3 双向多层RNN 67
第 4 章 循环神经网络之二：高级 71
4.1 在RNN中使用Dropout 71
4.1.1 全连接层中的Dropout 71
4.1.2 RNN中的Dropout 73
4.2 RNN中的梯度流动 75
4.2.1 时序反向传播算法 75
4.2.2 LSTM的梯度流 79
4.3 RNN中的归一化方法 83
4.3.1 批归一化 84
4.3.2 层归一化 87
第 5 章 循环神经网络之三： 实战技巧 92
5.1 序列分类 92
5.1.1 MNIST数字图像分类 92
5.1.2 变长序列处理与情感分析 94
5.2 超长序列的处理 100
5.2.1 状态传递与数据准备 101
5.2.2 字符级语言模型 104
5.3 序列标注和条件随机场 110
5.3.1 IOB格式 110
5.3.2 CONLL2003命名实体识别 111
5.3.3 条件随机场 115
5.4 中间层输出的提取 119
第 6 章 序列到序列问题 127
6.1 序列到序列问题概述 127
6.1.1 序列到序列问题的两个代表 127
6.1.2 三种序列到序列模型 128
6.2 CTC 130
6.2.1 CTC 模型结构 131
6.2.2 长短序列的转换 132
6.2.3 计算标签序列的概率 133
6.2.4 CTC 的推断算法 136
6.2.5 CTC的缺陷 139
6.2.6 TensorFlow中的CTC 139
6.3 Transducer 141
6.3.1 Transducer模型结构 141
6.3.2 Transducer的对齐网格 142
6.3.3 Transducer的训练算法 144
6.3.4 Transducer模型的推断 145
6.3.5 Transducer的贪心解码算法 145
6.3.6 Transducer的集束搜索解码算法 146
6.4 编码器-解码器架构 148
6.4.1 编码器-解码器架构简介 149
6.4.2 编码器-解码器架构代码示例 151
6.4.3 编码器-解码器架构的其他应用 153
6.5 文本生成问题的数据处理流程 153
第 7 章 注意力机制 157
7.1 编码器-解码器-注意力架构概述 157
7.2 两种注意力机制的具体实现 160
7.2.1 加性注意力 160
7.2.2 乘性注意力 161
7.2.3 对注意力机制的理解 163
7.3 TensorFlow中的注意力机制 164
7.3.1 熟悉 tfa.seq2seq164
7.3.2 注意力模块的引入 171
7.4 注意力机制的其他应用 179
第 8 章 超越序列表示：树和图 181
8.1 自然语言中的树结构 181
8.2 递归神经网络：TreeLSTM 183
8.2.1 递归神经网络简介 183
8.2.2 TreeLSTM 两例 185
8.2.3 N元树形LSTM的TensorFlow实现 187
8.3 树形 LSTM 的其他问题 189
8.3.1 树形递归 189
8.3.2 动态批处理 191
8.3.3 结构反向传播算法 191
8.3.4 树形 LSTM 的必要性 192
8.4 图与自然语言处理 193
8.4.1 LSTM 的其他拓展 193
8.4.2 图神经网络的应用 195
第 9 章 卷积神经网络 199
9.1 离散卷积的定义 200
9.1.1 卷积的维度 200
9.1.2 卷积的参数 202
9.2 卷积神经网络的两个实例 204
9.2.1 文本分类与 TextCNN 205
9.2.2 语音合成与 WaveNet 208
第10章 Transformer 219
10.1 Transformer 模型结构介绍 220
10.1.1 注意力层 222
10.1.2 前馈神经网络层 227
10.1.3 残差连接与层归一化 228
10.1.4 位置信息的引入 229
10.1.5 Transformer 整体结构 232
10.2 Transformer：实现与思考 233
10.2.1 从零实现 Transformer 233
10.2.2 训练和推断 244
10.2.3 关于Transformer模块的反思 249
10.3 Transformer 模型的拓展 253
10.3.1 平方复杂度与显存优化 253
10.3.2 图灵完备性与归纳偏置 258
10.3.3 非自回归模型 259
10.4 Transformer与其他模型的联系 261
第11章 预训练语言模型 263
11.1 预训练语言模型发展简史 264
11.2 GPT 266
11.2.1 语言模型 精调解决一切问题 266
11.2.2 GPT-2 和 GPT-3：大力出奇迹 270
11.2.3 GPT系列全回顾 276
11.3 BERT 277
11.3.1 为什么 GPT 和 ELMo 还不够好 277
11.3.2 无监督语料知识提取方案 278
11.3.3 在下游任务上精调 BERT 282
11.3.4 BERT 改进方案 284
11.4 后预训练时代 287
第12章 其他复杂模型 289
12.1 生成对抗网络 289
12.1.1 生成对抗网络简介 289
12.1.2 生成对抗网络与无监督机器翻译 293
12.2 强化学习 300
12.2.1 强化学习基本概念 300
12.2.2 策略梯度和 REINFORCE 算法 303
12.2.3 强化学习与文本生成 305
12.3 流模型 309
12.3.1 归一化流简介 310
12.3.2 逆自回归流与并行 WaveNet 312
参考文献 316
附录一 插图 334
附录二 算法 337
附录三 术语表 338
展开全部
深度序列模型与自然语言处理 基于TensorFlow2实践 作者简介
北京大学计算语言研究所硕士，在国内外会议和期刊上发表过多篇自然语言处理相关论文。曾负责网易有道离线神经网络机器翻译模块和 Kikatech 印度输入法引擎算法研发工作，并撰写相关专利。在知乎平台上回答深度学习和自然语言处理相关问题，多个回答获得编辑推荐，上万粉丝关注。
书友推荐
- >
姑妈的宝刀
姑妈的宝刀
¥9.0¥30.0 - >
巴金－再思录
巴金－再思录
¥14.7¥46.0 - >
有舍有得是人生
有舍有得是人生
¥20.1¥45.0 - >
月亮虎
月亮虎
¥20.2¥48.0 - >
罗曼·罗兰读书随笔-精装
罗曼·罗兰读书随笔-精装
¥17.4¥58.0 - >
伯纳黛特,你要去哪(2021新版)
伯纳黛特,你要去哪(2021新版)
¥15.9¥49.8 - >
唐代进士录
唐代进士录
¥15.1¥39.8 - >
朝闻道
朝闻道
¥15.0¥23.8
本类畅销
-
”互联网+“时代计算机算法的应用及其实践研究
¥19.9¥59 -
微服务设计
¥52.8¥69 -
图说深度学习:用可视化方法理解复杂概念
¥109¥188 -
计算机基础
¥17.2¥31 -
改变未来的九大算法
¥50¥68 -
生成式AI入门与AWS实战
¥77.8¥99.8
