《大模型导论》出版介绍及技术内容概览
本书主要介绍了大模型的发展与演变、相关技术、应用场景、未来发展趋势和前景。本书首先回顾了大模型技术的起源和发展历程，然后介绍了数据预处理、Transformer、预训练与微调、模型推理和 PyTorch 框架等技术。
此外，本书还通过具体的案例和实践展示了如何应用大模型技术来解决实际问题。本书旨在帮助读者全面了解大模型技术的发展与应用，并推动其在各个领域的应用和发展。
本书图文并茂，理论翔实，案例丰富，适合从事大模型开发的科研人员以及广大的开发者作为技术参考和培训资料，亦可作为高校本科生和研究生的教材。
适读人群
- 从事大模型开发的科研人员和开发者
- 高校相关专业的本科生和研究生
内容特色
- 内容全面：涵盖大模型技术的各个方面，包括大模型的概念、数据预处理、Transformer、预训练与微调、模型推理以及案例实战等。
- 循序渐进：从大模型基础概念到开发架构全案例式讲解，通过实战引导读者掌握大模型技术。
- 注重实用：附赠源码，丰富学习方式，边学边练。
- 资源丰富：提供丰富的教学资源，适合高校教学和大模型领域从业者使用，满足不同层次读者的需求。
作者简介
张成文，博士，北京邮电大学副教授、硕士生导师。中国人工智能学会高级会员，任中国电子商会大模型应用产业专委会秘书长、中国人工智能产业发展联盟产学研工作组副组长，中国医学装备协会人工智能和医用机器人工作委员会常委、中国教育发展战略学会人工智能与机器人专委会理事等。
他在网络技术专业领域有着深入的研究，并且完成了国家科技重大专项、国家重点研发计划、国家自然科学基金等项目。专业方向包括人工智能、大数据个性化推荐、云计算、计算机视觉等。他在国内外一流期刊上发表了多篇高水平论文，并出版了多本教材和专著。
目录概览
第 1 章 大模型概述
- 1.1 大模型介绍
- 1.2 大模型分类
- 1.3 大模型的开发流程
- 1.4 应用场景
- 1.5 未来发展方向
- 1.6 小结
- 1.7 课后习题
第 2 章 数据预处理
- 2.1 文本数据预处理
- 2.2 图像数据预处理
- 2.3 图文对数据预处理
- 2.4 Datasets 库
- 2.5 小结
- 2.6 课后习题
第 3 章 Transformer
- 3.1 注意力机制
- 3.2 Transformer 简介
- 3.3 Visual Transformer 简介
- 3.4 Q-Former
- 3.5 transformers 库
- 3.6 小结
- 3.7 课后习题
第 4 章 预训练
- 4.1 预训练介绍
- 4.2 预训练任务
- 4.3 应用于下游任务的方法
- 4.4 预训练模型的应用
- 4.5 小结
- 4.6 课后习题
第 5 章 训练优化
- 5.1 模型训练挑战
- 5.2 训练优化技术
- 5.3 训练加速工具
- 5.4 小结
- 5.5 课后习题
第 6 章 模型微调
- 6.1 监督微调
- 6.2 PEFT 技术
- 6.3 PEFT 库
- 6.4 小结
- 6.5 课后习题
第 7 章 模型推理
- 7.1 模型压缩和加速技术
- 7.2 推理服务提升技术
- 7.3 小结
- 7.4 课后习题
第 8 章 PyTorch 框架
- 8.1 安装与配置
- 8.2 基础组件
- 8.3 构建线性回归模型
- 8.4 构建 Transformer 模型
- 8.5 小结
- 8.6 课后习题
第 9 章 向量数据库
- 9.1 Milvus
- 9.2 Pinecone
- 9.3 Chroma
- 9.4 小结
- 9.5 课后习题
第 10 章 前端可视化工具
- 10.1 Gradio
- 10.2 Streamlit
- 10.3 小结
- 10.4 课后习题
第 11 章 LangChain
- 11.1 LangChain 组件
- 11.2 基础操作
- 11.3 进阶实战
- 11.4 基于私域数据的问答系统
- 11.5 小结
- 11.6 课后习题
第 12 章 常用开源模型的部署与微调
- 12.1 ChatGLM3 模型部署与微调
- 12.2 Baichuan2 模型部署与微调
- 12.3 LLaMA2 模型部署与微调
- 12.4 小结
- 12.5 课后习题
参考文献
