LLM 项目实战：使用 LLaMA-Factory 进行 DPO 训练

引言

LLM 训练通常包含预训练、微调和 RLHF 环节。DPO（Direct Preference Optimization）属于 RLHF 中的一种主流方法，相比 PPO 和 GRPO，DPO 对硬件资源需求更低，显存占用更少，适合在有限资源下进行偏好对齐训练。

环境准备

建议使用 Linux 系统（如 Ubuntu），Windows 环境下多卡训练可能遇到显存不稳定等问题。

硬件参考：双显卡（如 RTX 4070 12G*2）、64GB 内存。 模型示例：Qwen-VL-2B（支持多模态，纯语言任务可选用对应语言模型）。

注意：LLaMA-Factory 目前对 DeepSpeed 版本有兼容性要求，若使用分布式训练，请确认当前版本支持的 DeepSpeed 范围。

STEP 1 从 Hugging Face 下载数据集

本教程以医疗领域的 DPO 数据集为例。

from datasets import load_dataset

ds = load_dataset("HANI-LAB/Med-REFL-DPO", 'reasoning_enhancement')
print(ds['train'][:1])

确认数据加载正常后，继续下一步。

STEP 2 数据预处理与格式转换

LLaMA-Factory 需要特定的 JSON 格式数据。源数据为 Arrow 格式，需转换为如下结构：

[
  {
    "instruction": "人类指令",
    "input": "人类输入",
    "chosen": "优质回答",
    "rejected": "劣质回答"
  }
]

编写 Python 脚本完成转换：

import json
from datasets import load_dataset
import os

def convert_arrow_to_json(dataset_path, output_json_path):
    if os.path.exists(dataset_path):
        dataset = load_dataset('arrow', data_files=dataset_path)
    else:
        dataset = load_dataset(dataset_path, name='reasoning_enhancement')
    
    train_dataset = dataset['train']
    output_data = []
    
    for item in train_dataset:
        if 'instruction' in item and 'chosen' in item and 'rejected' in item:
            json_item = {
                "instruction": item['instruction'],
                "input": item.get('input', ''),
                "chosen": item['chosen'],
                "rejected": item['rejected']
            }
            output_data.append(json_item)
    
    with open(output_json_path, 'w', encoding='utf-8') as f:
        json.dump(output_data, f, ensure_ascii=False, indent=2)
    print(f"转换完成！共处理了 {len(output_data)} 条数据")

if __name__ == "__main__":
    arrow_file_path = "path/to/your/dataset.arrow"
    output_json_path = "med_dpo.json"
    convert_arrow_to_json(arrow_file_path, output_json_path)

将生成的 JSON 文件复制到 LLaMA-Factory 的 data 目录下。

修改 data/dataset_info.json，添加自定义数据集配置：

{
  "MED_DPO": {
    "file_name": "data/med_dpo.json",
    "ranking": true,
    "columns": {
      "prompt": "instruction",
      "query": "input",
      "chosen": "chosen",
      "rejected": "rejected"
    }
  }
}

STEP 3 启动训练

在 LLaMA-Factory 目录下启动 WebUI：

llamafactory-cli webui

在网页端配置参数：

若使用多卡训练，建议开启 DeepSpeed 选项；单卡训练无需勾选。根据显存情况，可调整量化等级或序列长度以优化资源占用。

训练过程中需注意环境兼容性，如遇报错请检查依赖版本。

STEP 4 合并模型

训练完成后，在 Export 模块选择训练好的权重文件路径及原始模型路径，执行合并操作即可得到最终模型。