AI 语言大模型关键技术详解

语言大模型由于在大规模通用领域数据预训练通常缺乏对特定任务或领域的知识，因此需要适配微调。微调可以帮助模型更好地适应特定需求，如对敏感数据（如医疗记录）的处理，同时不暴露原始数据。此外，微调可以提高部署效率、减少计算资源需求。指令微调和参数高效学习是适配微调的关键技术。

指令微调 (Instruction Tuning)

是一种可以帮助语言大模型实现人类语言指令遵循的能力，在零样本设置中泛化到未见任务上的学习方法。

指令微调学习形式与多任务提示微调相似，但与提示微调让提示适应语言大模型并且让下游任务对齐预训练任务不同，其是让语言大模型对齐理解人类指令并按照指令要求完成任务，即在给定指令提示的情况下给出特定的回应，其中提示可以选择性包含一条解释任务的指令。指令微调研究涉及指令理解、指令数据获取和指令对齐等内容。

1. 指令理解：指语言大模型准确理解人类语言指令的能力，是语言大模型执行指令完成任务的前提。为了增强对指令的理解，许多工作采用多任务提示方式对基于指令描述的大量任务集上对语言大模型进行微调，如 FLAN、InstructGPT 等，这些模型在未见的任务上显示出优越的零样本性能。
2. 指令数据获取：指如何构建包含多样性的任务指令数据。指令数据构建常见有三种方式：
   • i）基于公开人工标注数据构建，代表指令数据集包括 1616 种不同任务的 Super-Natural Instruction、2000 种不同 NLP 任务的 OPT-IML。
   • ii）借助语言大模型的自动生成构建，如 Unnatural Instructions，通过种子指令作为提示让语言大模型生成新的指令描述和问题，然后再输入到模型让其输出回答。
   • iii）基于人工标注方法，如 ChatGPT 在人工标注指令的基础上通过 GPT-3、InstructGPT 等在线平台收集用户真实指令数据。
3. 指令对齐：语言大模型在多种自然语言处理任务上都展现了卓越的性能。然而，它们有时可能会出现不预期的行为，如创造虚假信息、追求错误目标或产生有偏见的内容。其根本原因在于，语言大模型在预训练时仅通过语言模型建模，未涉及人类的价值观或偏好。

为了解决这一问题，研究者提出了'指令对齐'，使语言大模型的输出更符合人类的预期。但这种对齐与原始预训练有所不同，更注重于有用性、诚实性和无害性。此外，指令对齐可能会降低语言大模型的某些通用能力，这被称为'Alignment Tax'。

为实现模型输出与对人类价值的对齐，InstructGPT 提出了一种基于人类反馈的微调方法，利用了强化学习技术，将人类反馈纳入模型微调过程。实际上，ChatGPT 也采用了与 InstructGPT 相似的技术，以确保产生高质量且无害的输出。指令对齐的广泛应用，适配微调从纯数据学习的传统微调范式开始逐步向人类学习范式的转变。

参数高效微调 (Parameter-Efficient Tuning)

早期以 BERT 为代表的微调方法，是在大模型基座上增加一个任务适配层，然后进行全参微调。

但是这种方法存在两方面的问题：

• 一是任务'鸿沟'问题，预训练和微调之间的任务形式不一致，这种差别会显著影响知识迁移的效能。
• 二是高计算成本，语言大模型的参数规模不断增长，导致模型全参微调也需要大量计算资源。

解决以上问题的有效途径是参数高效学习，即通过仅微调少量参数实现大模型在下游任务上获得全参微调效果。

目前许多参数高效微调方法被提出，这些方法大致可分为 3 类：

1. 添加式方法：旨在原模型基础上引入额外的模块或参数，并仅微调该引入部分的参数。如适配器（Adapter）方法，旨在将小规模的神经模块（适配器）注入到预训练模型中，并只调整这些适配器以进行模型自适应。在实际应用中，适配器模块通常分别插入在多头自注意和前馈网络子层之后，成为最广泛使用方式；
2. 指定式方法：旨在原模型指定模型中部分参数为可训练参数，并固定模型其他参数。这类方法简单也十分有效，如仅通过优化模型内的偏置项并固定其他参数，模型仍然可以再现 95% 以上的模型全参微调性能；
3. 重参数化方法：将原模型或部分模型参数重参数化到低维度参数空间中，仅仅优化低维空间中的近似参数，显著降低模型的计算量和内存消耗。如 LoRA，将模型自注意力模块的变化权重参数分解为两个低秩矩阵相乘，即 $W = W_0 + BA$。

参数高效微调通常具有微调参数规模小、增量式微调参数、即插即用等特点，这种技术也统一成技术框架 Delta Tuning。

一些围绕参数高效微调的开源工具也被研发，代表性包括 OpenPrompt、OpenDelta 等。由于不同任务的微调参数可以被重复利用，一些关于高效微调的仓库也被构建，如 AdapterHub、Delta Center 等。随着语言大模型的兴起，高效微调吸引了越来越多的关注，以开发一种更轻量级的下游任务适配方法。特别地，LoRA 已广泛应用于各种开源语言大模型（如 LLaMA）以实现参数高效微调。

3. 语言大模型的提示学习

通过大规模文本数据预训练之后的语言大模型具备了作为通用任务求解器的潜在能力，但这些能力在执行一些特定任务时可能不会显式地展示出来。在大模型输入中设计合适的语言指令提示有助于激发这些能力，该技术称为模型提示技术。代表性的提示技术有指令提示和思维链提示：

指令提示（Instruction Prompt）

也称为提示学习。OpenAI 在 GPT-3 中首次提出上下文提示，并发现 GPT-3 在少样本提示下能够达到人类水平，证明在低资源场景下非常有效，引起广泛关注。

指令提示核心思想是避免强制语言大模型适应下游任务，而是通过提供'提示（Prompt）'来给数据嵌入额外的上下文以重新组织下游任务，使之看起来更像是在语言大模型预训练过程中解决的问题。

指令提示有三种形式：

1. 少样本提示：是指在一个自然语言提示后面附加一些示例数据，作为语言大模型的输入。其可以提高语言大模型在不同领域和任务上的适应性和稳定性。少样本提示也存在一些挑战，例如如何确定合适的示例数量、如何选择示例等。
2. 零样本提示：是指不使用任何示例数据，只依靠一个精心设计的提示来激活语言大模型中与目标任务相关的知识和能力。零样本提示关键问题包括如何设计合适的提示、如何选择最优的提示等。
3. 上下文学习（In-context Learning, ICL）：也称情境学习，是指将一个自然语言问题作为语言大模型的输入，并将其答案作为输出。情境学习可以看作是一种特殊形式的少样本提示，在问题中隐含地包含了目标任务和格式信息。情境学习可以简化问题表示和答案生成，并且可以灵活地处理多种类型和复杂度的问题。其挑战在于，如何确保问题质量、如何评估答案正确性等。

思维链（Chain-of-Thought, CoT）

推理的过程通常涉及多个推论步骤，通过多步推理允许产生可验证的输出，可以提高黑盒模型的可解释性。

思维链是一种提示技术，已被广泛用于激发语言大模型的多步推理能力，被鼓励语言大模型生成解决问题的中间推理链，类似于人类使用深思熟虑的过程来执行复杂的任务。

在思维链提示中，中间自然语言推理步骤的例子取代了少样本提示中的〈输入，输出〉对，形成了〈输入，思维链，输出〉三元组结构。思维链被认为是语言大模型的'涌现能力'，通常只有模型参数规模增大到一定程度后，才具有采用思维链能力。

激活语言大模型的思维链能力方法，在提示中给出逐步的推理演示作为推理的条件，每个演示都包含一个问题和一个通向最终答案的推理链（图 2-7）。

4. 语言大模型的知识增强

知识运用和推理能力是衡量语言大模型智能水平的重要因素。美国 Allen AI 研究大模型的问答能力，发现 GPT-3 在处理具有预设立场（false premise）的简单性常识性问题时，如类似'太阳有几只眼睛？'，GPT-3 仍然会给出'太阳两只眼睛'的荒谬回复。

有效的解决方法是在深度学习模型基础上融入各类型相关外部知识。根据大模型知识融合部位不同，知识融合方法从模型输入、神经架构、模型参数、输出等不同层面，大致分为以下 4 类，如图 2-8 所示：

1. 知识增广：从输入端增强模型，有两种主流的方法：一种方式是直接把知识加到输入，另一方法是设计特定模块来融合原输入和相关的知识化的输入表示。当前流行的检索增强生成（RAG）技术即属于此类，通过检索外部知识库补充上下文。
2. 知识支撑：关注于对带有知识的模型本身的处理流程进行优化。一种方式是在模型的底部引入知识指导层来处理特征，以便能得到更丰富的特征信息。例如，使用专门的知识记忆模块来从大模型底部注入丰富的记忆特征。另一方面，知识也可以作为专家在模型顶层构建后处理模块，以计算得到更准确和有效的输出。
3. 知识约束：利用知识构建额外的预测目标和约束函数，来增强模型的原始目标函数。例如，远程监督学习利用知识图谱启发式标注语料作为新的目标，并广泛用于实体识别、关系抽取等系列 NLP 任务。或者利用知识构建额外的预测目标，在原始语言建模之外构建了相应额外的预训练目标。
4. 知识迁移：模型知识作为重要的知识来源，也可以直接用于下游任务，例如初始化模型参数。迁移学习和自监督学习都是知识迁移的重要研究方向。目前，知识迁移技术已被广泛应用于自然语言处理，以 BERT 为首的各种预训练模型是现在知识迁移的主要方法。

5. 语言大模型的工具学习

语言大模型具备理解、推理和决策能力，可与外部工具互动。在特定领域任务中，如金融领域的证券交易和市场预测，语言大模型通常需要结合外部工具获取信息和技能才能处理。

整合外部工具与语言大模型可以发挥各自优势实现复杂任务的处理，其中外部工具可增强专业知识和可解释性，语言大模型提供语义理解和推理规划能力。

2021 年底，OpenAI 推出 WebGPT，利用 GPT-3 与网页浏览器和搜索引擎交互获取互联网信息在长文本问答上实现非常强的能力，展现了语言大模型利用工具解决复杂问题的巨大潜力。

该工作引起了学术界和产业界的广泛关注，产生了许多面向不同任务或场景需求的大模型调用工具的方法，如 Webshop，使用语言大模型替代人在购物平台上执行一系列操作、购买所需物品。

2023 年 3 月，OpenAI 发布 ChatGPT Plugins，实现 ChatGPT 调用各种外部插件的功能，支持浏览器实时信息获取、代码解释器、PDF 阅读等能力，截至 8 月已支持 480 个常用工具插件。

Meta 将这种通过非参数的外部模块扩展语言大模型能力的方法，统一称为增广语言模型（Augmented Language Models）。

清华大学在现有大模型工具使用方法基础上，提出了工具学习（Tool Learning）框架，指在让模型能够理解和使用各种工具完成任务的学习过程。

目前可交互的通用工具按用户接口大致可分为三类（图 2-9）：物理交互的工具（如机器人、传感器等）、基于图形用户界面的工具（如浏览器、Office 办公软件等）、基于编程接口的工具（如数据库、知识图谱）等。

从学习目标的角度来看，现有工具学习方法主要可以分为两类：

• 一类是工具增强学习（Tool-augmented Learning），利用各种工具的执行结果，增强基础模型性能。在这一范式中，工具执行结果被视为辅助生成高质量输出的外部资源；
• 第二类是工具导向学习（Tool-oriented Learning），将学习过程重点从增强模型性能转向工具执行本身。这一类研究关注开发能够代替人类控制工具并进行序列决策的模型。

总结与展望

语言大模型技术正处于快速发展阶段，上述五大关键技术共同构成了当前大模型能力的基石。预训练奠定了模型的基础认知能力，适配微调使其能够适应特定场景，提示学习激发了模型的潜在推理能力，知识增强弥补了模型内部知识的不足，而工具学习则赋予了模型与外部世界交互的能力。

未来，随着算力的提升和数据质量的优化，这些技术将进一步融合。例如，结合 RAG 的知识增强与工具学习将成为解决幻觉问题的关键路径。同时，参数高效微调技术的普及将降低大模型落地的门槛，使得更多垂直行业能够定制化部署专属模型。开发者应关注这些技术的演进，合理选择技术方案以构建更高效、可控的智能系统。