LLM 指令微调：数据质量与多样性对对齐效果的影响

潜在偏差讨论

自动化数据筛选虽然美好，但也存在疑问。论文使用 ChatGPT 来筛选样本，又用 GPT-4 作为评估，是否会引入 Bias？这个 Bias 主要来自 ChatGPT 和 GPT-4 相对一致的偏好。除非引入人工评估或多个大模型（如 Claude）同时进行最终评估打分，否则可能出现'妈妈看自己的孩子咋看都好看'的情况。

LTD：聚类过滤与多样性

论文核心观点

Maybe Only 0.5% Data is Needed: A Preliminary Exploration of Low Training Data Instruction Tuning 将样本筛选中心放在多样性上。在任务微调上只使用 0.5% 的训练样本，还比原有效果提升了 2%。论文对多样性给出了更形象的描述：用最少的样本，去近似刻画当前全部指令集的空间分布。

实现步骤

具体分成三个步骤：

1. Sample Embedding：把指令样本向量化。论文把指令 + 回答一同输入 BERT 模型进行编码，并且做了 l2 正则化，这样后续聚类计算距离就可以直接使用 cosine 距离。
2. Clustering：作者使用 K-Means 对所有指令样本进行聚类。个人更偏好 Agglomerative Clustering，毕竟 K-Means 是密度聚类，而层次聚类是基于距离的，在文本聚类中距离是有明确含义的，可以更好保证不同 Cluster 直接的粒度相对一致。
3. Corest Sampling：基于聚类结果选择有代表性的样本来构建指令集。论文采用了贪心的 K-center 算法来选取更有代表性的数据点。目标是找到 K 的中心点，使得所有点到距离最近的中心点的距离之和最小化。实现是先用聚类中心点作为起始中心点，遍历所有其他点找到离所有起始点距离最远的点，把这个点也加入中心点，然后多次重复以上过程。

相关研究补充

除了以上介绍的论文之外，还有几篇论文思想也或有相似：

• InstructionGPT-4：把多样性和质量进行综合打分的多模态微调模型。
• Instruction Mining：使用指令评估集推理 Loss 来对指令数据进行高质量筛选的。
• Polite Flamingo：通过改写和重构构建高质量多模态模型输出数据。
• Textbooks：编程任务上构建教科书级别质量的预训练数据，和对应的习题集数据用于微调效果显著超越 StarCoder。

WizardLM：指令改写与增强

论文核心观点

WizardLM: Empowering Large Language Models to Follow Complex Instructions 提出了一套指令改写的方案 Evol-Instruct。对原始指令样本进行多样化、复杂化改写可以有效提升模型效果。经过 4 轮改写，加上简单的样本过滤后得到的 250K 指令样本用于模型微调，效果在收集的 Evol-Instruct 测试集、Vicuna 的测试集以及更高难度的测试集上均略超过 Vicuna 还有 Alpaca。

Evol-Instruct 策略

指令改写是使用大模型直接进行的，分成深度改写和广度改写两个类型。

深度改写

深度改写把指令改写的更加复杂，包括加入限制条件、指令复杂化、指令具象化、增加推理步骤、输入复杂化等 5 种类型的指令。以下是加入限制条件的 Prompt 示例逻辑：控制每次改写增加的字数，以及改写的程度，每次只增加部分难度，这样通过多轮的改写，就可以得到不同难度、多样性更高的指令集。

其他四类 Prompt 的差异主要在于：

• 指令复杂化：If #Given Prompt# contains inquiries about certain issues, the depth and breadth of the inquiry can be increased.
• 指令具象化：Please replace general concepts with more specific concepts.
• 增加推理步骤：If #Given Prompt# can be solved with just a few simple thinking processes, you can rewrite it to explicitly request multiple-step reasoning.
• 输入复杂化：You must add [XML data] format text as input data in [Rewritten Prompt].

广度改写

广度改写的目的就是为了扩充指令覆盖的范围，包括更多的话题、技能等等。

综合对比与最佳实践

为了更直观地理解不同策略的适用场景，以下是对上述方法的综合对比：

实施建议

1. 基座模型决定上限：如果基座模型本身知识储备不足，单纯依靠指令微调无法弥补，此时应优先扩大预训练数据或混合训练。
2. 质量优先原则：在数据量达到一定阈值后，继续增加低质数据的边际效益递减，甚至产生负效应。应建立严格的质量评估标准。
3. 多样性是关键：无论采用何种筛选方式，确保输入指令的领域覆盖度和句式多样性至关重要，避免模型过拟合到特定格式。
4. 警惕自动化偏差：使用大模型进行数据清洗时，建议引入多个异构模型交叉验证，或结合少量人工抽检，防止单一模型偏好导致的分布偏移。
5. 复杂指令生成：对于需要强推理能力的场景，Evol-Instruct 类的改写策略比单纯增加数据量更有效，能显著提升模型处理长链推理的能力。

总结

LLM 对齐的核心不在于堆砌数据量，而在于数据的结构化和信息密度。LIMA 证明了少量高质量数据的有效性，AlpaGasus 提供了低成本自动化的路径，LTD 强调了空间分布的多样性，而 WizardLM 则展示了通过改写提升指令复杂度的潜力。在实际工程中，应根据业务需求、算力资源和数据现状，灵活组合上述策略，构建最适合自身场景的指令微调数据集。未来的研究方向可能集中在如何更高效地自动化评估数据质量，以及如何在不依赖大量标注的情况下挖掘更多样化的指令模式。