DeepSeek-R1 模型基于 LLaMA-Factory 的可视化微调实战

在命令行执行 python merge.py 即可完成合并。

数据预处理

预处理是提升模型质量的关键步骤，包括清洗噪声、脱敏、去重及格式转换。创建 Data_Preprocessing.py 脚本，将数据清洗并转换为 ShareGPT 格式：

import json
import re

with open('merged_data.json', 'r', encoding='utf-8') as file:
    data = json.load(file)

converted_data = []

def clean_data(dataset):
    cleaned_data = []
    for example in dataset:
        messages = example['messages']
        cleaned_messages = []
        for message in messages:
            if not message['content'].strip():
                continue
            message['content'] = message['content'].replace("\n", " ").strip()
            cleaned_messages.append(message)
        if cleaned_messages:
            cleaned_data.append({'messages': cleaned_messages})
    return cleaned_data

def replace_sensitive_info(text):
    text = re.sub(r'\d{3}[-]?\d{4}[-]?\d{4}', '[PHONE_NUMBER]', text)
    text = re.sub(r'\S+@\S+', '[EMAIL]', text)
    text = re.sub(r'\d{4}-\d{2}-\d{2}', '[DATE]', text)
    return text

def anonymize_data(dataset):
    anonymized_data = []
    for example in dataset:
        messages = example['messages']
        anonymized_messages = []
        for message in messages:
            if message['role'] == 'user':
                message['content'] = message['content'].replace("用户", "用户 X")
            message['content'] = replace_sensitive_info(message['content'])
            anonymized_messages.append(message)
        anonymized_data.append({'messages': anonymized_messages})
    return anonymized_data

for item_list in data:
    for item in item_list:
        if 'messages' not in item:
            continue
        conversation = {"conversations": []}
        for message in item['messages']:
            role = message['role']
            content = message['content']
            content = replace_sensitive_info(content)
            if role == "system":
                continue
            elif role == "user":
                from_role = "human"
            elif role == "assistant":
                from_role = "gpt"
            else:
                continue
            conversation['conversations'].append({"from": from_role, "value": content})
        converted_data.append(conversation)

with open('converted_data.json', 'w', encoding='utf-8') as file:
    json.dump(converted_data, file, ensure_ascii=False, indent=2)
print("数据转换完成，结果已保存为 converted_data.json")

执行 python Data_Preprocessing.py 完成清洗与格式化。

DeepSeek-R1 微调流程

数据集配置

将处理好的 converted_data.json 放入 LLaMA-Factory 的 data 目录下。编辑 dataset_info.json，添加如下配置以识别新数据集：

"converted_data": {
    "file_name": "converted_data.json",
    "formatting": "sharegpt",
    "columns": {
        "messages": "conversations"
    }
}

基础设置

1. 启动 LLaMA-Factory，语言设置为中文。
2. 选择模型：DeepSeek-R1-Distill-Qwen-1.5B（需提前下载至本地）。
3. 选择刚才配置的数据集。
4. 预览数据确保无误。
5. 配置训练参数（如学习率、Batch Size 等），若不确定可按默认值或参考样例。
6. 点击预览命令查看最终配置，确认无误后开始训练。

训练过程中可通过 Gradio UI 实时查看 Loss 曲线，后台日志会输出 Epoch、Token 数、Loss 值及运行时间等关键指标。

模型评估与预测

训练完成后，进入 Evaluate & Predict 模块：

1. 选择测试数据集。
2. 预览评估命令（RTX4080 约需 50 分钟）。
3. 评估结束后查看指标，如 BLEU-4、ROUGE-1/2/L 等，这些反映了生成文本与参考文本的相似度及结构匹配度。

模型对话与导出

1. 对话测试：在 WebUI Demo 中加载训练好的模型，输入提示词即可体验个性化对话效果。
2. 模型导出：点击 Export，选择自动设备，填写导出目录。导出成功后，模型文件将保存在指定路径下。
3. 部署准备：建议在导出目录新建 requirements.txt，列出当前模型所需依赖（如 transformers, peft, accelerate 等），便于后续快速部署。

至此，DeepSeek-R1 模型的个性化微调全流程已完成。开发者可根据实际需求调整参数或扩展数据集，进一步探索模型潜力。