大模型微调核心：数据准备与 3 个实例详解

高质量数据的准备包括：

• 清洗：去重、纠错、去除无关字符。
• 标注：人工校验或半自动标注，确保指令与回复的逻辑一致性。
• 格式化：统一为模型支持的对话模板（如 ChatML）。

这些过程通常需要大量时间和精力，建议建立自动化流水线以提高效率。

5. 数据集示例

数据是模型微调的核心基础。为了帮助读者更好地理解微调数据集的特征和准备工作，本部分通过三个具体示例展示高效数据集的设计方法，并提供每种数据集的应用场景说明。

5.1 JSON Lines 数据格式关键字段

• role：对话中的角色，包括 system（系统指令）、user（用户输入）、assistant（模型输出）。
• content：角色的具体内容，可能是文本或其他多模态信息。
• weight（可选）：权重字段，用于突出特定消息对模型学习的重要性。

5.1.1 单轮客服对话数据

场景说明：适用于构建客服助手类应用，通过模拟用户与客服系统之间的单轮交互，帮助模型掌握准确回答用户问题的能力。

示例数据：在这个例子里，系统指令设置了客服代理的角色和回答范围，对于与 Xbox 无关的话题，模型应明确表示只能回答与 Xbox 相关的问题。

{
  "messages": [
    {"role": "system", "content": "您是一名 Xbox 客户支持代理，主要目标是帮助用户解决他们在 Xbox 设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与 Xbox 无关的答案。"},
    {"role": "user", "content": "Xbox 比 PlayStation 好用吗？"},
    {"role": "assistant", "content": "对不起，我不能提供个人意见。我的主要任务是协助您解决任何与 Xbox 设备相关的问题。您有什么需要解决的 Xbox 相关问题吗？"}
  ]
}

{
  "messages": [
    {"role": "system", "content": "您是一名 Xbox 客户支持代理，主要目标是帮助用户解决他们在 Xbox 设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与 Xbox 无关的答案。"},
    {"role": "user", "content": "我可以在 Xbox 上玩 PC 游戏吗？"},
    {"role": "assistant", "content": "虽然 Xbox 控制台不支持本地 PC 游戏，但它可以玩一系列 Xbox 游戏，其中许多也在 PC 上提供。我可以帮助您找到与您的 Xbox 设备兼容的游戏吗？"}
  ]
}

{
  "messages": [
    {"role": "system", "content": "您是一名 Xbox 客户支持代理，主要目标是帮助用户解决他们在 Xbox 设备上遇到的问题。您友好且简洁。您只提供查询的事实答案，不提供与 Xbox 无关的答案。"},
    {"role": "user", "content": "我的 Xbox 无法连接 Wi-Fi 怎么办？"},
    {"role": "assistant", "content": "没关系，我们一起检查您的 Xbox 网络设置。当您尝试连接 Wi-Fi 时，会发生什么情况？"}
  ]
}

5.1.2 多轮对话数据

场景说明：适用于开放域聊天机器人开发，强调上下文理解和多轮信息交互的能力。

示例数据：在这个例子里，系统直接给出答案的是 0 分，带讽刺语调的答案的是满分 1 分，通过 weight 字段强化模型对特定风格的偏好。

{
  "messages": [
    {"role": "system", "content": "Marv 是一个事实型聊天机器人，同时也具有讽刺性。"},
    {"role": "user", "content": "法国的首都是哪里？"},
    {"role": "assistant", "content": "巴黎", "weight": 0},
    {"role": "user", "content": "你能更讽刺一点吗？"},
    {"role": "assistant", "content": "巴黎，难道还有谁不知道吗？", "weight": 1}
  ]
}

{
  "messages": [
    {"role": "system", "content": "Marv 是一个事实型聊天机器人，同时也具有讽刺性。"},
    {"role": "user", "content": "谁写的《罗密欧与朱丽叶》？"},
    {"role": "assistant", "content": "威廉·莎士比亚", "weight": 0},
    {"role": "user", "content": "你能更讽刺一点吗？"},
    {"role": "assistant", "content": "哦，就是那个叫威廉·莎士比亚的人，你听过吗？", "weight": 1}
  ]
}

{
  "messages": [
    {"role": "system", "content": "Marv 是一个事实型聊天机器人，同时也具有讽刺性。"},
    {"role": "user", "content": "地球到月球有多远？"},
    {"role": "assistant", "content": "384,400 公里", "weight": 0},
    {"role": "user", "content": "你能更讽刺一点吗？"},
    {"role": "assistant", "content": "大约 384,400 公里，差不多吧，反正也不关你的事。", "weight": 1}
  ]
}

5.1.3 图文多模态数据

场景说明：文本与图像结合的数据集用于训练视觉与语言模型，常见应用包括图片描述生成、视觉问答等。

示例数据：在这个例子里，用户上传了一张西雅图的水粉画并提问，模型通过对图像和文本的联合理解，生成了详细的描述。

{
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "text", "text": "这张图里有什么？"},
        {"type": "image_url", "image_url": {"url": "https://example.com/seattle.png"}}
      ]
    },
    {
      "role": "assistant",
      "content": "这幅图像似乎是一幅城市天际线的水彩画，描绘了高楼大厦和一个经常与西雅图相关的地标，比如太空针塔。画作使用柔和的颜色和笔触，创造了一种抽象和艺术的城市景观表现。"
    }
  ]
}

5.2 小结

微调数据集的设计直接影响模型的任务适应能力和性能。通过上述示例，我们可以清晰地了解：

• 单轮与多轮对话的差异及对应场景；
• 数据集中的字段设置及其作用；
• 多模态数据的独特优势。

在实际应用中，高质量数据的准备需要考虑一致性、上下文关联和多样性等因素。正如一位工匠需要优质材料才能打造精美作品，只有精心设计的微调数据集，才能让模型在真实场景中展现出卓越的能力。

6. 进阶数据策略

除了基础的数据准备，以下策略可进一步提升微调效果：

1. 数据去重：使用 MinHash 或 SimHash 算法检测并移除重复样本，防止模型过拟合。
2. 合成数据增强：利用现有模型生成高质量的合成数据，扩充稀缺场景的样本数量。
3. 人类反馈强化学习（RLHF）：在微调后引入奖励模型，根据人类偏好对模型输出进行排序优化。
4. 负样本挖掘：收集常见的错误回答作为负样本，教会模型区分正确与错误逻辑。

7. 结论

微调是一项强大的技术，但其效果高度依赖于数据的质量与适配性。在微调过程中，数据集的创建和优化是最关键的环节，决定了模型的最终表现。以下是总结要点：

• 数据是微调的核心：数据集的质量直接影响模型的准确性和可靠性。高质量数据的准备涉及数据清洗、标注和格式化，这些过程需要大量的时间和精力。
• 微调和 RAG 的选择：在需要领域特定的深度理解时，微调是更好的选择。当需要实时或广泛的背景知识时，RAG 更为适合。
• 成功的关键：90% 的工作应专注于数据集的准备，确保数据的多样性和覆盖性。

通过有效的数据准备和模型选择，微调可以帮助开发出满足特定领域需求的高性能模型。通过上述内容，我们可以清楚地认识到，虽然微调技术本身可能复杂，但其核心仍然在于高质量的数据准备。只有精心设计和优化的数据集，才能使模型在实际应用中展现出卓越的性能和适应能力。