从 Alpaca 到 ShareGPT：Llama Factory 数据格式全解析

使用注意：

• 必须严格保持 human/gpt 对话轮次交替
• 每轮对话都需要明确标注发言角色
• 支持任意长度的对话历史

快速测试不同数据格式

Llama Factory 已经预置了各种数据加载器，我们可以直接测试不同格式的效果。

准备测试环境

1. 启动包含 Llama Factory 的镜像环境
2. 进入项目目录：cd LLaMA-Factory
3. 安装依赖：pip install -r requirements.txt

加载 Alpaca 格式数据

from llama_factory.data import load_dataset # 加载 Alpaca 格式数据
alpaca_data = load_dataset("alpaca", data_path="your_data.json")

加载 ShareGPT 格式数据

# 加载 ShareGPT 格式数据
chat_data = load_dataset("sharegpt", data_path="your_chat.json")

格式对比测试

建议通过以下步骤对比不同格式的效果：

1. 准备相同内容的 Alpaca 和 ShareGPT 格式样本
2. 分别用两种格式微调相同的基础模型
3. 使用统一测试集评估效果

数据格式转换实战

当现有数据不符合要求时，Llama Factory 提供了便捷的转换工具。

Alpaca 转 ShareGPT

from llama_factory.data import convert_alpaca_to_sharegpt
convert_alpaca_to_sharegpt(
    input_path="alpaca_data.json",
    output_path="sharegpt_data.json"
)

自定义格式转换

如需处理特殊格式，可以继承 BaseDataConverter 类：

from llama_factory.data import BaseDataConverter
class CustomConverter(BaseDataConverter):
    def convert(self, item):
        # 实现你的转换逻辑
        return converted_item

微调效果优化技巧

根据实测经验，数据格式选择会显著影响微调效果，以下是一些实用建议：

• 单轮任务优先使用 Alpaca 格式
• 保持 instruction 简洁明确
• 合理使用 input 字段提供上下文
• 多轮对话必须使用 ShareGPT 格式
• 确保对话轮次完整
• 保留必要的对话历史
• 混合任务可以尝试：
  • 80% ShareGPT + 20% Alpaca 数据
  • 分阶段微调（先 Alpaca 后 ShareGPT）

提示：格式转换后务必人工检查样本质量，避免引入噪声。

常见问题排查

在实际使用中，可能会遇到以下典型问题：

数据加载失败

错误现象：

ValueError: Invalid data format...

解决方案：

1. 检查 JSON 文件是否有效
2. 确认必填字段完整
3. 使用 --verbose 参数查看详细错误

微调效果不佳

可能原因：

• 格式与任务类型不匹配（如用 Alpaca 做对话任务）
• 数据量不足（建议至少 1000 条高质量样本）
• 未正确设置 template 参数

优化方法：

# 对于对话模型务必指定 template
python src/train.py --template vicuna

显存不足

处理建议：

• 减小 batch_size 参数
• 启用梯度检查点
• 使用 LoRA 等高效微调方法

进阶应用场景

掌握了基础格式后，可以尝试这些进阶用法：

多格式混合训练

在 dataset_config.yaml 中配置：

mix_data:
  - alpaca: data/alpaca.json
  - sharegpt: data/chat.json
weights: [0.3, 0.7]

自定义模板开发

1. 在 templates 目录下新建 custom_template.json
2. 参考现有模板定义 prompt 结构
3. 通过 --template custom_template 调用

总结与下一步

通过本文，你应该已经掌握了：

1. Llama Factory 支持的各类数据格式特点
2. 如何快速加载和测试不同格式
3. 格式转换和效果优化的实用技巧

微调数据的质量直接影响模型效果，而选择合适的数据格式是确保数据质量的第一步。