大型语言模型实战指南:应用实践与场景落地 版权信息
- ISBN:9787111758457
- 条形码:9787111758457 ; 978-7-111-75845-7
- 装帧:一般胶版纸
- 册数:暂无
- 重量:暂无
- 所属分类:>
大型语言模型实战指南:应用实践与场景落地 本书特色
资深大模型专家撰写,详解大模型技术、算法、原理,手把手教大模型应用开发方法,5家大模型团队负责人力荐
(1)作者资深,质量有保障作者是NLP和AI领域的资深专家,大模型领域的先驱者,实战经验丰富。
(2)理论扎实,让你透彻理解大模型核心技术深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法等,并提供大量代码及注解。
(3)注重实战,手把手教你开发大模型应用手把手教你如何构建简单但强大的应用程序,如角色扮演、信息抽取、知识问答、AI Agent等。
(4)指导行业实战,让你将大模型真正落地深入探讨了领域特定大模型的应用,如法律、医疗、金融和教育等。
大型语言模型实战指南:应用实践与场景落地 内容简介
这是一本系统梳理并深入解析大模型的基础理论、算法实现、数据构造流程、模型微调方法、偏好对齐方法的著作,也是一本能手把手教你构建角色扮演、信息抽取、知识问答、AI Agent等各种强大的应用程序的著作。本书得到了零一万物、面壁智能、通义千问、百姓AI、澜舟科技等国内主流大模型团队的负责人的高度评价和鼎力推荐。
具体地,通过本书你能了解或掌握以下知识:(1)大型语言模型的基础理论,包括常见的模型架构、领域大型语言模型以及如何评估大模型的性能。
(2)大模型微调的关键步骤:从数据的收集、清洗到筛选,直至微调训练的技术细节。
(3)大模型人类偏好对齐方法,从基于人工反馈的强化学习框架到当前主流的对齐方法。
(4)通过GPTs快速搭建个性化的专属ChatGPT应用。
(5)通过开源模型在多种场景下搭建大模型应用,包括:表格查询、角色扮演、信息抽取、知识问答、AI Agent等。
(6)掌握大模型Agent方法以及Agent常用框架。
(7)基于LangChain框架构建一个AutoGPT应用。
本书集大模型理论、实践和场景落地于一体,提供大量经详细注释的代码,方便读者理解和实操。总之,不管里是想深入研究大模型本身,还是进行大模型相关应用搭建,本书都应该能给你颇具价值的技术启发与思考,让你在大模型的路上快速前行,少走弯路。
大型语言模型实战指南:应用实践与场景落地 目录
CONTENTS目 录前言第1章 大型语言模型基础 ?11.1 Transformer基础 ?11.2 常用的大型语言模型 ?41.2.1 GPT系列模型 ?41.2.2 OPT模型 ?111.2.3 Bloom模型 ?121.2.4 GLM系列模型 ?121.2.5 LLaMA系列模型 ?141.2.6 Baichuan系列模型 ?161.2.7 Qwen系列模型 ?181.2.8 Skywork模型 ?191.3 领域大型语言模型 ?211.3.1 法律大型语言模型 ?211.3.2 医疗大型语言模型 ?241.3.3 金融大型语言模型 ?271.3.4 教育大型语言模型 ?291.4 大型语言模型评估 ?301.4.1 大型语言模型的评估内容 ?301.4.2 大型语言模型的评估方法 ?321.4.3 大型语言模型评估榜单 ?331.5 本章小结 ?37第2章 大型语言模型的常用 微调方法 ?382.1 数据构造与清洗 ?382.1.1 数据构造方法 ?392.1.2 数据清洗方法 ?432.2 分词器构造 ?442.2.1 分词器概述 ?442.2.2 BPE分词器 ?452.2.3 WordPiece分词器 ?522.2.4 Unigram分词器 ?562.2.5 SentencePiece分词器 ?582.2.6 词表融合 ?622.3 大型语言模型的微调方法 ?632.3.1 前缀调优 ?632.3.2 提示调优 ?642.3.3 P-Tuning v2 ?652.3.4 LoRA ?652.3.5 DyLoRA ?662.3.6 AdaLoRA ?672.3.7 QLoRA ?672.3.8 QA-LoRA ?682.3.9 LongLoRA ?692.3.10 VeRA ?692.3.11 S-LoRA ?702.4 基于PEFT的LLaMA模型微调实战 ?712.4.1 项目介绍 ?712.4.2 数据预处理 ?712.4.3 模型微调 ?722.4.4 模型预测 ?772.5 本章小结 ?78第3章 大型语言模型的人类偏好对齐 ?793.1 基于人类反馈的强化学习框架 ?793.2 前沿偏好对齐方法 ?843.2.1 RRHF ?843.2.2 RLAIF ?853.2.3 DPO ?873.2.4 APO ?893.3 基于DPO的偏好对齐实战 ?903.3.1 数据集介绍 ?903.3.2 TRL框架介绍 ?923.3.3 训练代码解析 ?933.4 本章小结 ?96第4章 创建个人专属的ChatGPT—GPTs ?974.1 GPTs初体验 ?974.2 GPTs的初阶使用 ?1054.2.1 知识库的使用 ?1054.2.2 内置插件的使用 ?1084.2.3 知识库与内置插件的结合使用 ?1114.3 GPTs的高阶使用 ?1134.4 本章小结 ?122第5章 大型语言模型SQL任务实战 ?1235.1 公开数据集 ?1235.1.1 英文公开数据集 ?1235.1.2 中文公开数据集 ?1285.2 主流方法 ?1325.2.1 基于规则的方法 ?1335.2.2 基于深度学习的方法 ?1335.2.3 基于预训练语言模型的方法 ?1365.2.4 基于大型语言模型的方法 ?1365.3 Text2SQL任务实战 ?1415.3.1 项目介绍 ?1415.3.2 数据预处理 ?1425.3.3 模型微调 ?1475.3.4 模型预测 ?1495.4 本章小结 ?150第6章 大型语言模型的角色扮演应用 ?1516.1 角色扮演 ?1516.1.1 大型语言模型如何进行角色扮演 ?1536.1.2 角色扮演数据的构造方法 ?1556.1.3 大型语言模型角色扮演的能力评估 ?1556.2 角色扮演实战测试 ?1566.3 基于Baichuan的角色扮演模型微调 ?1596.3.1 项目介绍 ?1596.3.2 数据预处理 ?1606.3.3 模型微调 ?1646.3.4 模型预测 ?1716.4 本章小结 175第7章 大型语言模型的对话要素抽取应用 ?1767.1 对话要素抽取 ?1767.2 对话要素抽取实战测试 ?1777.2.1 基于GPT-3.5 API进行对话要素抽取 ?1787.2.2 基于Qwen-1.8B模型进行对话要素抽取 ?1807.3 基于Qwen的对话要素抽取 模型微调 ?1837.3.1 项目介绍 ?1837.3.2 数据预处理 ?1837.3.3 模型微调 ?1907.3.4 模型预测 ?1987.4 本章小结 ?202第8章 Agent应用开发 ?2038.1 Agent概述 ?2038.2 Agent的主要模块 ?2058.3 Agent的行为决策机制 ?2078.4 主流Agent 框架 ?2118.4.1 LangChain框架 ?2118.4.2 LlamaIndex框架 ?2148.4.3 AutoGPT框架 ?2158.4.4 AutoGen 框架 ?2168.4.5 SuperAGI框架 ?2198.5 本章小结 ?221第9章 基于知识库的大型语言模型问答应用 ?2229.1 基于知识库问答 ?2229.2 向量数据库 ?2249.2.1 文本的向量表征 ?2259.2.2 向量的距离度量方法 ?2289.2.3 常用的向量数据库 ?2299.3 基于知识库的大型语言模型 问答实战 ?2319.3.1 BGE微调 ?231<
展开全部
大型语言模型实战指南:应用实践与场景落地 作者简介
刘聪中国药科大学硕士,从事NLP工作5年,任职云问NLP研究院首席算法架构师,MLNLP(机器学习算法与自然语言处理)社区的学术委员,长期关注人工智能前沿内容,知乎粉丝量8k+,知乎文章阅读量257万,拥有个人公众号,原创文章60余篇。主攻文本向量表征、问答系统、文本生成(AIGC)方向,并致力于开源工作,开源了中文首个Unilm预训练模型,中文GPT2项目,夸夸闲聊机器人(ChatBot)等相关项目。作为主要负责人,在多项自然语言处理比赛中获得前三甲的名次,发表多篇中文核心期刊,专利一篇,sci论文4篇。