引言
众所周知，大语言模型（LLM）正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
本文将深入探讨大模型微调的核心概念、适用场景、主流方法以及最佳实践，帮助开发者构建更专业的垂直领域模型。
LLM 项目生命周期
在介绍大模型微调方法之前，首先了解一下大语言模型的项目生命周期，它大致可以分为以下几个步骤：
- 项目目标：明确项目目标。决定 LLM 是作为一个通用工具还是专注于特定任务（如命名实体识别）。明确的目标有助于节省时间和资源。
- 模型选择：在从头开始训练模型和修改现有模型之间做出选择。在许多情况下，适应性调整现有模型是高效的，但在某些情况下，可能需要通过新模型进行微调。
- 模型性能与调优：准备模型后，评估其性能。如果性能不佳，尝试进行提示工程（prompt engineering）或进一步微调。确保模型输出与人类偏好保持一致。
- 评估与迭代：定期使用指标和基准进行评估。在提示工程、微调和评估之间进行迭代，直到达到期望的结果。
- 模型部署：当模型表现符合预期时，进行部署。在这个阶段，优化计算效率和用户体验。
LLM 微调概述
LLM 微调是一个将预训练模型在较小、特定数据集上进一步训练的过程，目的是精炼模型的能力，提高其在特定任务或领域上的性能。微调的目的是将通用模型转变为专用模型，弥合通用预训练模型与特定应用需求之间的差距，确保语言模型更贴近人类的期望。
以 OpenAI 的 GPT-3 为例，这是一个为广泛的自然语言处理（NLP）任务设计的先进 LLM。假设一家医疗组织希望使用 GPT-3 来帮助医生从文本笔记生成患者报告。虽然 GPT-3 能理解和创建一般文本，但它可能没有针对复杂的医学术语和特定医疗术语进行优化。
为了提高 GPT-3 在这一专业角色中的性能，该组织会在包含医疗报告和患者笔记的数据集上对 GPT-3 进行微调。通过这个过程，模型变得更加熟悉医学术语、临床语言的微妙之处和典型的报告结构。微调后，GPT-3 能够协助医生生成准确且连贯的患者报告，展示了它对特定任务的适应性。
尽管微调听起来对每个 LLM 都很有价值，但请记住，这并非没有代价。接下来，将会详细讨论这些成本。
什么时候需要 LLM 微调
说起 LLM，总会涉及到上下文学习、零样本、单样本和少样本推理等话题。我们先快速了解一下它们主要的功能。
- 上下文学习 (In-context learning)：是一种通过在提示中加入特定任务示例来改进提示的方法，为 LLM 提供了完成任务的蓝图。
- 零样本 (Zero-shot)、单样本 (One-shot) 和少样本 (Few-shot) 推理：零样本推理是在提示中直接使用输入数据，不添加额外示例。如果零样本推理未能达到预期结果，可以使用单样本或少样本推理。这些策略涉及在提示中添加一个或多个已完成的示例，帮助较小的 LLM 表现得更好。
上下文学习的问题：将以上这些技术直接应用于用户提示，旨在优化模型输出，使其更符合用户偏好。问题是它们并不总是有效，尤其是对于较小的 LLM。除此之外，在提示中包含的任何示例都会占用宝贵的上下文窗口空间，减少了包含其他有用信息的空间。
当以上方式无法解决相关问题时，这就需要 LLM 微调。但它与预训练阶段使用大量非结构化文本数据不同，微调是一个监督学习过程。这意味着你使用标记好的示例数据集来更新 LLM 的权重。这些标记好的示例通常是 prompt-response，使得模型能更好地完成特定任务。
有监督微调 (SFT)
有监督微调意味着使用标记数据更新预先训练的语言模型来完成特定任务。所使用的数据已提前检查过。这与不检查数据的无监督方法不同。通常语言模型的初始训练是无监督的，但微调是有监督的。
微调流程
- 数据准备：有许多开源数据集可以提供关于用户行为和偏好的洞察，即使它们没有直接格式化为指令性数据。例如，我们可以利用亚马逊产品评论的大量数据集，将其转化为微调的指令提示数据集。提示模板库包含了许多针对不同任务和不同数据集的模板。
- 执行微调：将数据集分为训练、验证和测试部分。在微调过程中，你会从训练数据集中选择提示，并将它们传递给 LLM，然后模型会生成完成的文本。
- 迭代调整：在数据集的多次迭代（或称为周期）中，模型继续调整其权重，逐渐找到一种配置，以最小化特定任务的误差。目标是将之前学到的一般知识适应到新数据集中的细微差别和特定模式，从而使模型在目标任务上更加专业化和有效。
- 模型更新：在这个过程中，模型会根据标记数据进行更新。它根据其猜测与实际答案之间的差异进行改变。这有助于模型学习标记数据中的细节。通过这样做，模型在微调的任务上的表现会得到提升。
实战代码示例
以下是一个基于 Hugging Face Transformers 库进行 SFT 的简化 Python 代码示例：
from transformers import AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer
from datasets import load_dataset
# 1. 加载模型和分词器
model_name = "meta-llama/Llama-2-7b-hf"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
# 2. 准备数据集
dataset = load_dataset("json", data_files="train.jsonl")
def format_prompt(example):
return f"Instruction: {example['instruction']}\nInput: {example['input']}\nOutput: {example['output']}"
def tokenize_function(examples):
inputs = tokenizer(examples["text"], truncation=True, max_length=512)
return inputs
tokenized_dataset = dataset.map(tokenize_function, batched=True)
# 3. 配置训练参数
training_args = TrainingArguments(
output_dir="./sft_model",
per_device_train_batch_size=4,
num_train_epochs=3,
learning_rate=2e-5,
fp16=True,
logging_steps=10
)
# 4. 初始化 Trainer 并训练
trainer = Trainer(
model=model,
args=training_args,
train_dataset=tokenized_dataset["train"],
)
trainer.train()
微调方法详解
LLM 微调是一个有监督学习过程，主要使用标注数据集来更新 LLM 的权重，并使模型提高其特定任务的能力。接下来将为大家介绍一些值得注意的微调方法。
1. 指令微调
一种提高模型在各种任务上表现的策略是指令微调。这涉及到使用示例来训练机器学习模型，展示模型应该如何响应查询。用于微调大型语言模型的数据集必须符合你的指令目的。
例如，如果你想提高模型的摘要能力，你应该构建一个包含摘要指令和相关文本的数据集。在翻译任务中，应包含'翻译这段文本'等指令。这些提示有助于让模型以新的专业方式'思考'，并服务于特定任务。
2. 全微调（FFT）
即更新模型所有权重的过程，被称为全微调。这个过程会产生一个具有更新权重的新模型版本。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。
3. 参数高效微调（PEFT）
训练语言模型是一项计算密集型任务。对于 LLM 全微调，内存不仅来存储模型，还要存储训练过程中必要的参数。你的计算机可能能够处理模型权重，但在训练过程中为优化状态、梯度和前向激活分配多余的内存可能会存在挑战。
简单的硬件无法处理这种挑战。这就是参数高效微调（PEFT）的关键所在。虽然全 LLM 微调在监督学习过程中更新每个模型的权重，但 PEFT 方法只更新一小部分参数。这种迁移学习技术选择特定的模型组件并'冻结'其余参数。结果是，与原始模型相比，参数数量显著减少（在某些情况下，仅为原始权重的 15-20%；2021 年微软提出的 LORA，斯坦福提出的 Prefix-Tuning，谷歌提出的 Prompt Tuning，2022 年清华提出的 P-tuning v2、2023 年华盛顿大学提出的 QLoRA、2024 年英伟达提出 DoRA 等基本上都是属于该范畴）。
这使得内存需求更加可管理。不仅如此，PEFT 还解决了灾难性遗忘问题。由于它不触及原始 LLM，模型不会忘记之前学到的信息。全微调会为每个训练任务产生一个新版本的模型，每个新版本都与原始模型大小相同，如果你在多个任务上进行微调，这可能会造成昂贵的存储问题。
其它微调类型
- 迁移学习：将已在通用、大规模数据集上训练过的模型，应用于特定任务的数据集上。这种方法适用于数据不足或时间紧迫的情况，优势在于训练后能获得更高的学习率和准确性。你可以使用像 GPT-3 和 BERT 这样在大量数据上预训练过的 LLMs，并根据你的用例进行定制。
- 任务特定微调：在特定任务或领域上，使用为该领域设计的数据集对预训练模型进行微调。这种方法比迁移学习需要更多的数据和时间，但可以在特定任务上获得更高的性能。
- 灾难性遗忘：在全微调过程中，模型在单一任务上的权重被修改，可能导致在其他任务上的性能下降。例如，模型在微调后可能在情感分析等 NLP 任务上表现更好，但可能忘记如何执行其他任务。缓解方法包括弹性权重巩固（EWC）或回放机制。
- 多任务学习：多任务微调是单任务微调的扩展，训练数据集包含多个任务的输入和输出示例。这种方法可以同时提高模型在所有任务上的性能，避免灾难性遗忘的问题。训练过程中，通过多个周期的损失计算来更新模型权重，最终得到一个擅长多种任务的微调模型。但多任务微调模型需要大量数据，可能需要 5 万到 10 万个示例。
- 顺序微调：将预训练模型按顺序适应多个相关任务。在初步迁移到一般领域后，LLM 可能针对更具体的子集进行微调，例如从通用语言到医学语言，再到儿科心脏病学。
注意，其实还有其它的微调类型，如自适应、行为和指令、强化微调，这些涵盖了训练语言模型的一些重要特定情况。
检索增强 RAG
说到模型微调，这里就必须要提一下检索增强 RAG 了。RAG 是微调的一种替代方法，它结合了自然语言生成和信息检索。RAG 确保语言模型通过外部最新知识或相关文档提供信息来源。这种技术弥合了通用模型广泛知识与最新知识信息需求之间的差距。因此，RAG 是事实随时间演变情况下的重要技术。
RAG 的优势
RAG 相较于微调的一个优势在于信息管理。传统的微调将数据嵌入到模型架构中，实质上是'硬编码'知识，这不容易修改。而 RAG 允许训练数据的持续更新，并允许数据的移除或修订，确保模型保持准确。
RAG 与微调的关系
在语言模型的背景下，RAG 和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。特别是，微调可以应用于 RAG 系统，以识别和改进其较弱的组件，帮助它们在特定 LLM 任务上表现出色。
微调最佳实践
- 明确任务：在微调大型语言模型的过程中，明确任务是基础步骤。它可以提供清晰的方向，确保模型的强大能力被引导用于实现特定目标，并为性能测量设定明确基准。
- 选择合适的预训练模型：使用预训练模型进行微调至关重要，因为它利用了从大量数据中获得的知识，确保模型不会从零开始学习。这种方法既计算效率高又节省时间。此外，预训练捕捉了通用语言理解，使微调能够专注于领域特定的细节，通常能在专业任务中带来更好的模型性能。
- 设置超参数：超参数是模型训练过程中可调整的变量，对找到适合任务的最优配置至关重要。学习率、批量大小、周期数、权重衰减等是关键的超参数，需要调整以优化模型。建议从小学习率开始，观察 Loss 曲线变化。
- 评估模型性能：微调完成后，通过测试集评估模型性能。这提供了对模型在未见数据上预期表现的无偏评估。常用的评估指标包括困惑度（Perplexity）、BLEU、ROUGE 等。如果模型仍有改进空间，也应考虑迭代优化模型。
结语
大语言模型的微调技术正处于快速发展阶段，从全量微调到参数高效微调，再到与 RAG 的结合，不同的技术路径适用于不同的业务场景。开发者应根据数据规模、算力资源和业务需求，选择最合适的微调策略，以实现模型效果与成本的最佳平衡。