LLaMA-Factory DeepSeek-R1 模型微调基础教程

1. 点击下载，然后解压。
2. 双击执行工具。
3. 点击我的登陆账号，然后在工具点击解析数据。
4. 选择 AI 对话 txt 和 json，按需导出。
5. 只勾选文本数据。
6. 记一下目录，找相对路径就行。
7. 导出完毕之后相对路径文件夹会有相关文件。

所需数据合并

1. 在聊天记录文件夹建立一个 merge.py 的文件。
2. 复制以下代码进去，主要作用是合并所有的聊天记录。

import os
import json

# 设置目标文件夹路径
folder_path = r'<数据源路径>'

# 获取文件夹及其所有子文件夹中的所有 .json 文件
json_files = []
for root, dirs, files in os.walk(folder_path):
    for file in files:
        if file.endswith('.json'):
            json_files.append(os.path.join(root, file))

# 合并所有 .json 文件
merged_data = []
for file in json_files:
    with open(file, 'r', encoding='utf-8') as f:
        try:
            data = json.load(f)
            merged_data.append(data)
        except json.JSONDecodeError:
            print(f"Error decoding {file}. Skipping.")

# 保存合并后的数据到一个新的 .json 文件
merged_file_path = os.path.join(folder_path, 'merged_data.json')
with open(merged_file_path, 'w', encoding='utf-8') as merged_file:
    json.dump(merged_data, merged_file, indent=4, ensure_ascii=False)
print(f"合并后的文件已保存至：{merged_file_path}")

3. 直接在地址栏前面加上 cmd 回车之后就会打开当前路径的命令提示符。
4. 键入 python merge.py 执行。

数据集预处理

数据集预处理是机器学习和人工智能中不可或缺的环节，其重要性体现在多个方面。首先，预处理能够提升数据质量，通过清洗噪声、去除重复和无关信息，以及标准化格式，为模型训练提供纯净且一致的输入。其次，它有助于优化模型性能，例如通过分词、去除停用词等操作，让模型更容易理解和学习数据中的关键信息，同时减少过拟合的风险。

1. 在聊天记录文件夹建立一个 Data_Preprocessing.py 的文件。
2. 复制以下代码进去，主要作用是数据清洗、脱敏、去重以及规则化成 sharegpt 格式。

import json
import re

# 读取 merged_data.json 文件
with open('merged_data.json', 'r', encoding='utf-8') as file:
    data = json.load(file)

# 转换后的数据格式
converted_data = []

# 数据清洗：去除空消息，清除特殊字符，统一格式
def clean_data(dataset):
    cleaned_data = []
    for example in dataset:
        messages = example['messages']
        cleaned_messages = []
        for message in messages:
            # 去除内容为空的消息
            if not message['content'].strip():
                continue
            # 清除多余的空格、换行符等
            message['content'] = message['content'].replace("\n", " ").strip()
            cleaned_messages.append(message)
        if cleaned_messages:
            cleaned_data.append({'messages': cleaned_messages})
    return cleaned_data

# 脱敏处理：替换敏感信息
def replace_sensitive_info(text):
    # 匹配手机号、邮箱等敏感信息
    text = re.sub(r'\d{3}[-]?\d{4}[-]?\d{4}', '[PHONE_NUMBER]', text)  # 替换手机号
    text = re.sub(r'\S+@\S+', '[EMAIL]', text)  # 替换邮箱
    text = re.sub(r'\d{4}-\d{2}-\d{2}', '[DATE]', text)  # 替换日期
    return text

# 匿名化数据：替换用户角色
def anonymize_data(dataset):
    anonymized_data = []
    for example in dataset:
        messages = example['messages']
        anonymized_messages = []
        for message in messages:
            # 匿名化用户角色
            if message['role'] == 'user':
                message['content'] = message['content'].replace("用户", "用户 X")
            # 替换敏感信息
            message['content'] = replace_sensitive_info(message['content'])
            anonymized_messages.append(message)
        anonymized_data.append({'messages': anonymized_messages})
    return anonymized_data

# 处理每一条对话
for item_list in data:
    for item in item_list:
        # 确保每个条目中包含 'messages' 字段
        if 'messages' not in item:
            print("跳过：没有找到 'messages' 字段")
            continue
        # 如果没有 'messages' 字段，跳过当前数据项
        print(f"正在处理数据项：{item}")
        # 打印当前处理的项
        conversation = {"conversations": []}
        # 处理消息数据
        for message in item['messages']:
            role = message['role']
            content = message['content']
            print(f"处理消息：role={role}, content={content}")
            # 打印消息内容
            # 清洗和脱敏处理
            content = replace_sensitive_info(content)
            # 映射 role 到 from 字段
            if role == "system":
                continue  # 忽略 system 消息
            elif role == "user":
                from_role = "human"
            elif role == "assistant":
                from_role = "gpt"
            # 添加转换后的消息
            conversation['conversations'].append({"from": from_role, "value": content})
        # 将转换后的会话添加到最终结果中
        converted_data.append(conversation)

# 保存转换后的数据为新的文件
with open('converted_data.json', 'w', encoding='utf-8') as file:
    json.dump(converted_data, file, ensure_ascii=False, indent=2)
print("数据转换完成，结果已保存为 converted_data.json")

3. 直接在地址栏前面加上 cmd 回车之后就会打开当前路径的命令提示符。
4. 键入 python Data_Preprocessing.py 执行。

DeepSeek-R1 可视化微调

数据集处理

1. 把 converted_data.json 数据集存放在 LLaMA-Factory 相对路径，通常是 data 文件夹。
2. 编辑 dataset_info.json 文件。
3. 更改 dataset_info.json 文件，以便 LLaMA-Factory 识别训练。下面是需要添加的内容。

"converted_data":{"file_name":"converted_data.json","formatting":"sharegpt","columns":{"messages":"conversations"}},

数据详解

1. 在 data 文件夹有个 README_zh.md 的文件打开它，它记录的就是 alpaca 和 sharegpt 格式数据集如何配置。
2. 使用的是 sharegpt 数据集，所以在 dataset_info.json 文件需要填充的内容如上所示。因为不需要 tools(工具描述)，所以直接删除也行。当然你有需求也可以加上，只要把数据集修改一下就行了。如果还不知道怎么修改就看一下样例数据集 glaive_toolcall_zh_demo.json 也在 data 文件夹下。

LLaMA-Factory 基础设置

模型下载地址：deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

1. LLaMA-Factory 运行起来之后把语言更改成中文、模型更改为：DeepSeek-R1-1.5B-Distill，模型路径就是你下载好存放的模型路径。
2. 选择我们添加的数据集。
3. 简单预览一下看看有没有错误，然后关闭就行了。
4. 你如果不是很了解这些参数什么意思的话，按照默认填就行。
5. 点击预览命令，可以看到训练参数配置详情。
6. 开始训练。
7. 训练详情可以在 Gradio UI 查看损失函数，也可以后台查看详细信息。

命令行输出显示训练状态。

8. 训练完毕之后会输出训练完毕字符。

9. 后台也会输出当前模型训练基础指标，简单解释一下吧。

   • epoch：表示训练过程中数据集被完整地通过模型一次的次数。
   • num_input_tokens_seen：表示在训练过程中模型已经看到的输入标记（例如单词或字）的总数。
   • total_flos：表示训练过程中执行的浮点运算次数，单位是 GF。
   • train_loss：表示训练集上的损失函数值，损失越低通常意味着模型性能越好。
   • train_runtime：表示训练过程的总运行时间。
   • train_samples_per_second：表示模型每秒可以处理的样本数。
   • train_steps_per_second：表示模型每秒可以执行的训练步骤数。

10. 模型存放位置，通常在 saves 文件夹下。

模型评估与预测

1. 点击 Evaluate&Predict。

2. 选择需要使用到的数据集。

3. 预览一下评估命令。

4. 评估结束之后会给一个评估指标，简单解释一下都是什么意思。

   • predict_bleu-4：用于评估机器翻译模型输出质量的一个指标。bleu-4 计算的是 4-gram（四个连续单词）之间的匹配程度。它用于衡量生成文本与参考文本之间的相似度。
   • predict_model_preparation_time：模型准备时间，即加载模型并进行初始化所花费的时间，单位是秒。
   • predict_rouge-1：ROUGE 用于评估自动摘要质量的一个指标。rouge-1 衡量的是 1-gram（单个词）的召回率即生成文本与参考文本中单个词的匹配程度。
   • predict_rouge-2：rouge-2 衡量的是 2-gram（由两个连续单词组成的词组）之间的匹配度。它反映了生成文本和参考文本中连续两个词的相似性。
   • predict_rouge-l：rouge-l 衡量的是最长公共子序列（LCS）的召回率。LCS 考虑了单词的顺序因此更能反映生成文本和参考文本之间的结构相似度。
   • predict_runtime：模型运行的总时间，通常是指模型在预测或推理过程中所花费的总时间，单位为秒。
   • predict_samples_per_second：每秒处理的样本数量，表示模型每秒钟可以处理多少个输入样本。
   • predict_steps_per_second：每秒执行的推理步骤数，表示模型在推理过程中每秒执行多少次推理步骤。

5. 这个是模型评估具体信息，感兴趣的可以点击去具体查看。

训练模型对话

1. 选择你想要对话并训练好的模型。
2. 点击加载模型，模型加载完毕之后会提示：模型已加载，可以开始聊天了！
3. 然后就可以开始对话了，这个对话就是根据你的风格进行训练出来的。

训练模型导出

1. 点击 Export 切换到模型导出界面。
2. 这些参数按需调节吧，导出设备最好选择自动，不然 CUDA 执行会有一点问题，导出目录需要填写一下。
3. 模型正在导出和导出成功都有提示。
4. 所有模型文件就是在你填写的导出路径文件夹内。
5. 一般都出完毕之后我都会写一个 requirements.txt 文件，也就是依赖安装文件，方便后期快速部署。里面也没什么东西就是当前模型所需依赖，一般使用原本的依赖文件就行。

transformers>=4.41.2,<=4.48.3,!=4.46.*,!=4.47.*,!=4.48.0,!=4.48.1,!=4.48.2;python_version<'3.10'
transformers>=4.41.2,<=4.48.3,!=4.46.*,!=4.47.*,!=4.48.0;python_version>='3.10'
datasets>=2.16.0,<=3.2.0
accelerate>=0.34.0,<=1.2.1
peft>=0.11.1,<=0.12.0
trl>=0.8.6,<=0.9.6
tokenizers>=0.19.0,<=0.21.0
gradio>=4.38.0,<=5.12.0
pandas>=2.0.0
scipy
einops
sentencepiece
tiktoken
protobuf
uvicorn
pydantic
fastapi
sse-starlette
matplotlib>=3.7.0
fire
packaging
pyyaml
numpy<2.0.0
av
librosa
tyro<0.9.0