人民大学《大语言模型》核心内容与技术体系解析
近期，人民大学出版了《大语言模型》一书，该书全面涵盖了模型架构、预训练、部署使用、智能体等关键领域。整体而言，本书详细介绍了大语言模型的技术背景、发展过程、关键技术、资源、训练方法、微调技术、人类对齐、部署应用以及未来趋势，为读者提供了一个关于大语言模型技术的深入视角。
大语言模型的发展历程
文章首先介绍了大语言模型的背景，包括 ChatGPT 的上线、大语言模型技术的重要性以及其发展历程，从统计语言模型到神经网络语言模型，再到预训练语言模型。OpenAI 公司的贡献尤为突出，特别是在 GPT 系列模型的发展中，如 GPT-1 到 GPT-4，以及 ChatGPT 的推出，引领了大模型技术的变革。
技术挑战与资源限制
书中讨论了大模型训练的难点，包括算力限制、数据质量与规模的重视，以及学术界在资源上的挑战。同时强调了开放和共享在推动大模型技术发展中的作用，包括公开的基础模型、技术代码和学术论文。
大语言模型的技术细节
文章提供了大语言模型技术的一些细节，如训练流程、数据清洗方法、指令微调技术、人类偏好对齐算法等。此外，还介绍了公开可用的模型检查点、API、预训练数据集、微调数据集和代码库资源。
预训练任务与模型架构
详细讨论了大语言模型的预训练任务，如语言建模、去噪自编码和混合去噪器，以及模型架构的设计，包括 Transformer 模型、编码器、解码器和不同配置的详细讨论。提供了预训练过程中的代码实践，包括数据准备、模型训练和参数量计算。
指令微调与人类对齐
探讨了指令微调的概念、数据构建方法、训练策略，以及参数高效的模型微调技术。讨论了人类对齐的背景、标准和基于人类反馈的强化学习方法。
大模型的部署与应用
介绍了大模型的解码策略、加速算法、低资源部署策略和模型压缩方法。概述了大语言模型的评测方法、评测指标、评测体系以及在不同研究和专业领域的应用。最后对大语言模型技术的当前状态和未来发展趋势进行了总结。
本书主要章节结构
第一部分 背景与基础知识
- 第一章 引言：语言模型的发展历程、大语言模型的能力特点、关键技术概览及对科技发展的影响。
- 第二章 基础介绍：大语言模型的构建过程（大规模预训练、指令微调与人类对齐）、扩展法则（KM 扩展法则、Chinchilla 扩展法则）、涌现能力及其与扩展法则的关系、GPT 系列模型的技术演变。
- 第三章 大语言模型资源：公开可用的模型检查点或 API（通用模型、LLaMA 变体系列、公共 API）、常用的预训练数据集（网页、书籍、维基百科、代码、混合型）、常用微调数据集（指令微调、人类对齐）、代码库资源（Hugging Face、DeepSpeed、Megatron-LM）。
第二部分 预训练
- 第四章 数据准备：数据来源（通用文本、专用文本）、数据预处理（质量过滤、敏感内容过滤、数据去重）、词元化（BPE、WordPiece、Unigram）、数据调度（数据混合、数据课程）。
- 第五章 模型架构：Transformer 模型（输入编码、多头自注意力机制、前馈网络层、编码器、解码器）、详细配置（归一化方法、激活函数、位置编码、注意力机制、混合专家模型）、主流架构（编码器 - 解码器、因果解码器、前缀解码器）、长上下文模型、新型模型架构（参数化状态空间模型）。
- 第六章 模型预训练：预训练任务（语言建模、去噪自编码、混合去噪器）、优化参数设置（批次数据、学习率、优化器、稳定优化技术）、可扩展的训练技术（3D 并行训练、零冗余优化器、激活重计算、混合精度训练）、模型参数量计算与效率分析、预训练代码实践。
第三部分 微调与对齐
- 第七章 指令微调：指令数据的构建（基于 NLP 任务、日常对话、合成数据、提升方法）、指令微调的训练策略（优化设置、数据组织策略）、参数高效的模型微调（低秩适配 LoRA、其他高效微调方法）、代码实践与分析。
- 第八章 人类对齐：人类对齐的背景与标准、基于人类反馈的强化学习（RLHF 概述、数据收集、奖励模型训练、强化学习训练）、非强化学习的对齐方法（监督对齐算法 DPO）、SFT 和 RLHF 的比较讨论。
第四部分 大模型使用
- 第九章 解码与部署：解码策略（贪心搜索改进、随机采样改进）、解码加速算法（系统级优化、策略优化）、低资源部署策略（量化基础知识、后量化方法）、其他模型压缩方法（模型蒸馏、模型剪枝）。
- 第十章 提示学习：基础提示（人工设计、自动优化）、上下文学习（形式化定义、示例设计、底层机制）、思维链提示（基本形式、优化策略）。
- 第十一章 规划与智能体：基于大语言模型的规划（框架、方案生成、反馈获取）、基于大语言模型的智能体（概述、构建、多智能体系统、典型应用、待解决技术问题）。
