基于 LLaMA-Factory 的 DeepSeek-R1 模型微调实战指南

执行脚本后，确认数据已合并。

数据预处理

预处理能提升数据质量，去除噪声、重复信息并标准化格式。我们需要将数据清洗、脱敏并转换为 ShareGPT 格式。

创建 Data_Preprocessing.py 脚本：

import json
import re

with open('merged_data.json', 'r', encoding='utf-8') as file:
    data = json.load(file)

converted_data = []

def clean_data(dataset):
    cleaned_data = []
    for example in dataset:
        messages = example['messages']
        cleaned_messages = []
        for message in messages:
            if not message['content'].strip():
                continue
            message['content'] = message['content'].replace("\n", " ").strip()
            cleaned_messages.append(message)
        if cleaned_messages:
            cleaned_data.append({'messages': cleaned_messages})
    return cleaned_data

def replace_sensitive_info(text):
    text = re.sub(r'\d{3}[-]?\d{4}[-]?\d{4}', '[PHONE_NUMBER]', text)
    text = re.sub(r'\S+@\S+', '[EMAIL]', text)
    text = re.sub(r'\d{4}-\d{2}-\d{2}', '[DATE]', text)
    return text

def anonymize_data(dataset):
    anonymized_data = []
    for example in dataset:
        messages = example['messages']
        anonymized_messages = []
        for message in messages:
            if message['role'] == 'user':
                message['content'] = message['content'].replace("用户", "用户 X")
            message['content'] = replace_sensitive_info(message['content'])
            anonymized_messages.append(message)
        anonymized_data.append({'messages': anonymized_messages})
    return anonymized_data

for item_list in data:
    for item in item_list:
        if 'messages' not in item:
            continue
        conversation = {"conversations": []}
        for message in item['messages']:
            role = message['role']
            content = message['content']
            content = replace_sensitive_info(content)
            if role == "system":
                continue
            elif role == "user":
                from_role = "human"
            elif role == "assistant":
                from_role = "gpt"
            else:
                continue
            conversation['conversations'].append({"from": from_role, "value": content})
        converted_data.append(conversation)

with open('converted_data.json', 'w', encoding='utf-8') as file:
    json.dump(converted_data, file, ensure_ascii=False, indent=2)
print("数据转换完成，结果已保存为 converted_data.json")

配置数据集

将处理好的 converted_data.json 放入 LLaMA-Factory 的 data 目录下。编辑 dataset_info.json 文件，添加如下配置以识别训练：

"converted_data":{"file_name":"converted_data.json","formatting":"sharegpt","columns":{"messages":"conversations"}},

参考 README_zh.md 了解 Alpaca 和 ShareGPT 格式的具体配置要求。

模型微调

基础设置

1. 启动 LLaMA-Factory，将语言设置为中文。
2. 选择模型：DeepSeek-R1-Distill-Qwen-1.5B（需提前下载）。填写模型路径。
3. 选择刚才添加的数据集。
4. 预览数据以确保无误。
5. 配置训练参数。若不熟悉具体参数含义，可参考默认配置或官方文档。
6. 点击预览命令查看训练参数详情，确认无误后开始训练。

训练监控

训练过程中可在 Gradio UI 查看损失函数曲线，后台会输出详细日志。关键指标说明：

• epoch: 数据集完整通过模型的次数。
• num_input_tokens_seen: 模型看到的输入标记总数。
• train_loss: 训练集上的损失值，越低通常越好。
• train_runtime: 总运行时间。
• train_samples_per_second: 每秒处理的样本数。

训练完成后，模型权重将保存在 saves 目录下。

评估与导出

模型评估

点击 Evaluate&Predict 选项卡，选择测试数据集。评估结束后会生成 BLEU、ROUGE 等指标，用于衡量文本生成质量。

对话测试

切换到 Chat 界面，加载训练好的模型。加载成功后即可开始对话，验证模型是否学习了预期的风格。

模型导出

点击 Export 切换到导出界面。调整参数，导出设备建议选择自动以避免 CUDA 问题。填写导出目录，等待导出完成。所有模型文件将保存在指定路径下。

部署时，可复制当前环境的 requirements.txt 文件，包含模型所需的依赖包，方便快速部署。