大语言模型（LLM）微调方法总结

示例：针对'天空为什么是蓝色？'这个问题，模型微调之前给出的答案为：'因为大气层散射阳光的方式。'，但是如果将该模型应用到科教平台，这个答案就显得太简短了。收集相关数据进行模型微调之后，给出的答案为：'天空之所以呈现蓝色，是因为一种叫做瑞利散射的现象。当阳光进入地球大气层时，它包含了不同颜色的光，每种颜色都有其特定的波长。蓝光波长较短，被大气中的气体和颗粒物向各个方向散射。这种散射使得直射阳光看起来是白色的，而天空本身则呈现出蓝色。'，上面的这个回答很全面就非常适合科教平台了。

微调方法

LLM 微调是一个有监督学习过程，主要使用标注数据集来更新 LLM 的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。

1. 指令微调 (Instruction Tuning)

一种提高模型在各种任务上表现的策略是指令微调。这涉及到使用示例来训练机器学习模型，展示模型应该如何响应查询。用于微调大型语言模型的数据集必须符合你的指令目的。

例如，如果你想提高模型的摘要能力，你应该构建一个包含摘要指令和相关文本的数据集。在翻译任务中，应包含'翻译这段文本'等指令。这些提示有助于让模型以新的专业方式'思考'，并服务于特定任务。

2. 全微调 (Full Fine-Tuning, FFT)

即更新模型所有权重的过程，被称为全微调。这个过程会产生一个具有更新权重的新模型版本。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。

3. 参数高效微调 (PEFT)

训练语言模型是一项计算密集型任务。对于 LLM 全微调，内存不仅来存储模型，还要存储训练过程中必要的参数。你的计算机可能能够处理模型权重，但在训练过程中为优化状态、梯度和前向激活分配多余的内存可能会存在挑战。

简单的硬件无法处理这种挑战。这就是参数高效微调（PEFT）的关键所在。虽然全 LLM 微调在监督学习过程中更新每个模型的权重，但 PEFT 方法只更新一小部分参数。这种迁移学习技术选择特定的模型组件并'冻结'其余参数。结果是，与原始模型相比，参数数量显著减少（在某些情况下，仅为原始权重的 15-20%；2021 年微软提出的 LORA，斯坦福提出的 Prefix-Tuning，谷歌提出的 Prompt Tuning，2022 年清华提出的 P-tuning v2、2023 年华盛顿大学提出的 QLoRA、2024 年英伟达提出 DoRA 等基本上都是属于该范畴）。

这使得内存需求更加可管理。不仅如此，PEFT 还解决了灾难性遗忘问题。由于它不触及原始 LLM，模型不会忘记之前学到的信息。全微调会为每个训练任务产生一个新版本的模型，每个新版本都与原始模型大小相同，如果你在多个任务上进行微调，这可能会造成昂贵的存储问题。

PEFT 常见实现代码逻辑示例

# 伪代码示例：使用 LoRA 进行参数高效微调
from peft import LoraConfig, get_peft_model

lora_config = LoraConfig(
    r=8,  # LoRA 秩
    lora_alpha=32,
    target_modules=["q_proj", "v_proj"],  # 目标模块
    lora_dropout=0.1,
    bias="none",
    task_type="CAUSAL_LM"
)

model = get_peft_model(model, lora_config)

其它微调类型

除了上述方法外，还有多种微调策略适用于不同场景：

1. 迁移学习：将已在通用、大规模数据集上训练过的模型，应用于特定任务的数据集上。这种方法适用于数据不足或时间紧迫的情况，优势在于训练后能获得更高的学习率和准确性。你可以使用像 GPT-3 和 BERT 这样在大量数据上预训练过的 LLMs，并根据你的用例进行定制。
2. 任务特定微调：在特定任务或领域上，使用为该领域设计的数据集对预训练模型进行微调。这种方法比迁移学习需要更多的数据和时间，但可以在特定任务上获得更高的性能。
3. 灾难性遗忘：在全微调过程中，模型在单一任务上的权重被修改，可能导致在其他任务上的性能下降。例如，模型在微调后可能在情感分析等 NLP 任务上表现更好，但可能忘记如何执行其他任务。
4. 多任务学习：多任务微调是单任务微调的扩展，训练数据集包含多个任务的输入和输出示例。这种方法可以同时提高模型在所有任务上的性能，避免灾难性遗忘的问题。训练过程中，通过多个周期的损失计算来更新模型权重，最终得到一个擅长多种任务的微调模型。但多任务微调模型需要大量数据，可能需要 5 万到 10 万个示例。
5. 顺序微调：顺序微调是将预训练模型按顺序适应多个相关任务。在初步迁移到一般领域后，LLM 可能针对更具体的子集进行微调，例如从通用语言到医学语言，再到儿科心脏病学。

注意，其实还有其它的微调类型，如自适应、行为和指令、强化微调，这些涵盖了训练语言模型的一些重要特定情况。

检索增强 RAG

说到模型微调，这里就必须要提一下检索增强 RAG 了。RAG 是微调的一种替代方法，它结合了自然语言生成和信息检索。RAG 确保语言模型通过外部最新知识或相关文档提供信息来源。这种技术弥合了通用模型广泛知识与最新知识信息需求之间的差距。因此，RAG 是事实随时间演变情况下的重要技术。

RAG 的优势

RAG 相较于微调的一个优势在于信息管理。传统的微调将数据嵌入到模型架构中，实质上是'硬编码'知识，这不容易修改。而 RAG 允许训练数据的持续更新，并允许数据的移除或修订，确保模型保持准确。

RAG 与微调的关系

在语言模型的背景下，RAG 和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。特别是，微调可以应用于 RAG 系统，以识别和改进其较弱的组件，帮助它们在特定 LLM 任务上表现出色。

微调最佳实践

为了确保微调项目的成功，建议遵循以下最佳实践：

1. 明确任务：在微调大型语言模型的过程中，明确任务是基础步骤。它可以提供清晰的方向，确保模型的强大能力被引导用于实现特定目标，并为性能测量设定明确基准。
2. 选择合适的预训练模型：使用预训练模型进行微调至关重要，因为它利用了从大量数据中获得的知识，确保模型不会从零开始学习。这种方法既计算效率高又节省时间。此外，预训练捕捉了通用语言理解，使微调能够专注于领域特定的细节，通常能在专业任务中带来更好的模型性能。
3. 设置超参数：超参数是模型训练过程中可调整的变量，对找到适合任务的最优配置至关重要。学习率、批量大小、周期数、权重衰减等是关键的超参数，需要调整以优化模型。
4. 评估模型性能：微调完成后，通过测试集评估模型性能。这提供了对模型在未见数据上预期表现的无偏评估。如果模型仍有改进空间，也应考虑迭代优化模型。
5. 监控过拟合：在微调过程中，密切监控验证集的性能。如果发现训练集准确率上升而验证集准确率下降，说明发生了过拟合，此时应停止训练或增加正则化手段。
6. 数据质量优先：高质量、多样化的微调数据远比数据量更重要。清洗数据、去除噪声、平衡类别分布是提升效果的关键。

总结

大语言模型的微调技术是实现垂直领域应用落地的核心环节。从全量微调到参数高效微调（PEFT），再到检索增强生成（RAG），不同的技术路径适用于不同的业务场景和资源约束。开发者应根据任务复杂度、数据规模、硬件预算以及对实时性的要求，灵活选择最合适的微调策略。随着技术的演进，混合使用微调与 RAG 将成为构建高性能 AI 系统的标准范式。