LLaMA-Factory 微调 DeepSeek-R1 模型实战指南

LLaMA-Factory 微调 DeepSeek-R1 模型实战指南 | 极客日志

LLaMA-Factory 模型微调基础教程

LLaMA-Factory 概述

使用 LLaMA-Factory 进行模型微调具有多方面的好处。首先，它简化了大模型微调的过程，使得用户能够轻松进行模型的优化和改进。此外，LLaMA-Factory 支持多种训练方法，如全量调参、LoRA 等，以及不同的对齐方案，如 DPO、PPO 等。这为用户提供了灵活性，可以根据具体需求选择合适的微调策略。

LLaMA-Factory 还提供了一站式服务，从模型微调到量化处理，再到运行，整个过程一气呵成。此外，它支持多种流行的语言模型，如 LLaMA、BLOOM、Mistral、Baichuan 等，涵盖了广泛的应用场景。

在模型量化方面，LLaMA-Factory 能够有效地压缩模型规模，减少模型运行所需的计算量和存储空间，使得模型能够在性能稍弱的设备上也能流畅运行。这不仅提高了模型的可访问性，也降低了运行成本。

此外，LLaMA-Factory 的训练过程中记录的内容比较全面，除了同步输出 loss 曲线图以外，还自带 BLEU 等评测指标，这有助于用户更好地监控和评估模型的性能。

LLaMA-Factory 安装

环境依赖详情

官方建议 Python 版本至少为 3.9，推荐 3.10。

依赖安装

进入 LLaMA-Factory 目录后执行以下命令：

pip install -r requirements.txt

执行完整依赖安装：

pip install -e ".[torch,metrics]"

CUDA 安装

conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c nvidia

记得输入 y 继续安装。

量化 BitsAndBytes 安装

如果要在 Windows 平台上开启量化 LoRA（QLoRA），需要安装预编译的 bitsandbytes 库。支持 CUDA 11.1 到 12.2，请根据您的 CUDA 版本情况选择适合的发布版本。

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

可视化微调启动

启动命令：

llamafactory-cli webui

如果出现无法访问 localhost 的错误，可能需要修改 interface.py 代码中的 share 参数。
找到 run_web_ui() 和 run_web_demo() 方法，将 share=gradio_share 修改为 share=True。
再次运行即可成功。注意此时不要使用代理工具，否则界面可能加载不出来。

数据集准备

所需工具下载

使用数据导出工具进行聊天记录解析。例如可以使用 MemoTrace 或其他类似工具（如 finetune_dataset_maker）。

使用教程

点击导出数据，按照步骤操作。
解压后找到可执行文件双击执行。
登录账号，在工具中点击解析数据。
选择 AI 对话 txt 和 json 格式按需导出。
仅勾选文本数据以获取纯文本内容。
记录导出目录路径。
导出完毕后，相对路径文件夹下会有生成的数据文件。

所需数据合并

在聊天记录文件夹建立一个 merge.py 的文件。
复制以下代码用于合并所有聊天记录：

import os
import json

# 设置目标文件夹路径
folder_path = r'D:\软件\留痕\data\聊天记录'

# 获取文件夹及其所有子文件夹中的所有 .json 文件
json_files = []
for root, dirs, files in os.walk(folder_path):
    for file in files:
        if file.endswith('.json'):
            json_files.append(os.path.join(root, file))

# 合并所有 .json 文件
merged_data = []
for file in json_files:
    with open(file, 'r', encoding='utf-8') as f:
        try:
            data = json.load(f)
            merged_data.append(data)
        except json.JSONDecodeError:
            print(f"Error decoding {file}. Skipping.")

# 保存合并后的数据到一个新的 .json 文件
merged_file_path = os.path.join(folder_path, 'merged_data.json')
with open(merged_file_path, 'w', encoding='utf-8') as merged_file:
    json.dump(merged_data, merged_file, indent=4, ensure_ascii=False)
print(f"合并后的文件已保存至：{merged_file_path}")

在命令行执行 python merge.py。
显示执行完毕即表示数据已合并。

数据集预处理

数据集预处理是机器学习和人工智能中不可或缺的环节。预处理能够提升数据质量，通过清洗噪声、去除重复和无关信息，以及标准化格式，为模型训练提供纯净且一致的输入。

在聊天记录文件夹建立一个 Data_Preprocessing.py 的文件。
复制以下代码用于数据清洗、脱敏、去重以及规则化成 sharegpt 格式：

import json
import re

# 读取 merged_data.json 文件
with open('merged_data.json', 'r', encoding='utf-8') as file:
    data = json.load(file)

# 转换后的数据格式
converted_data = []

# 数据清洗：去除空消息，清除特殊字符，统一格式
def clean_data(dataset):
    cleaned_data = []
    for example in dataset:
        messages = example['messages']
        cleaned_messages = []
        for message in messages:
            # 去除内容为空的消息
            if not message['content'].strip():
                continue
            # 清除多余的空格、换行符等
            message['content'] = message['content'].replace("\n", " ").strip()
            cleaned_messages.append(message)
        if cleaned_messages:
            cleaned_data.append({'messages': cleaned_messages})
    return cleaned_data

# 脱敏处理：替换敏感信息
def replace_sensitive_info(text):
    # 匹配手机号、邮箱等敏感信息
    text = re.sub(r'\d{3}[-]?\d{4}[-]?\d{4}', '[PHONE_NUMBER]', text) # 替换手机号
    text = re.sub(r'\S+@\S+', '[EMAIL]', text) # 替换邮箱
    text = re.sub(r'\d{4}-\d{2}-\d{2}', '[DATE]', text) # 替换日期
     text


 ():
    anonymized_data = []
     example  dataset:
        messages = example[]
        anonymized_messages = []
         message  messages:
            
             message[] == :
                message[] = message[].replace(, )
            
            message[] = replace_sensitive_info(message[])
            anonymized_messages.append(message)
        anonymized_data.append({: anonymized_messages})
     anonymized_data


 item_list  data:
     item  item_list:
        
            item:
            ()
            
        
        ()
        
        conversation = {: []}
        
         message  item[]:
            role = message[]
            content = message[]
            ()
            
            
            content = replace_sensitive_info(content)
            
             role == :
                 
             role == :
                from_role = 
             role == :
                from_role = 
            
            conversation[].append({: from_role, : content})
        
        converted_data.append(conversation)


 (, , encoding=)  file:
    json.dump(converted_data, file, ensure_ascii=, indent=)
()

在命令行执行 python Data_Preprocessing.py。
显示执行完毕即表示数据已清洗和修改完毕。

DeepSeek-R1 可视化微调

数据集处理

将 converted_data.json 数据集存放在 LLaMA-Factory 相对路径下的 data 文件夹中。
编辑 dataset_info.json 文件。
更改 dataset_info.json 文件，以便 LLaMA-Factory 识别训练。添加以下内容：

"converted_data": {
    "file_name": "converted_data.json",
    "formatting": "sharegpt",
    "columns": {
        "messages": "conversations"
    }
},

数据详解

在 data 文件夹有个 README_zh.md 的文件打开它，它记录的就是 alpaca 和 sharegpt 格式数据集如何配置。
使用的是 sharegpt 数据集，所以在 dataset_info.json 文件需要填充的内容如上所示。因为不需要 tools（工具描述），所以直接删除也行。如果有需求也可以加上，只要把数据集修改一下就行了。

LLaMA-Factory 基础设置

模型下载地址：deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

LLaMA-Factory 运行起来之后把语言更改成中文，模型更改为：DeepSeek-R1-1.5B-Distill，模型路径就是你下载好存放的模型路径。
选择我们添加的数据集。
简单预览一下看看有没有错误，然后关闭。
如果不了解参数含义，可以按照默认配置填写。
点击预览命令，可以看到训练参数配置详情。
开始训练。
训练详情可以在 Gradio UI 查看损失函数，也可以后台查看详细信息。

命令行输出说明：

epoch：表示训练过程中数据集被完整地通过模型一次的次数。
num_input_tokens_seen：表示在训练过程中模型已经看到的输入标记总数。
total_flos：表示训练过程中执行的浮点运算次数，单位是 GF。
train_loss：表示训练集上的损失函数值，损失越低通常意味着模型性能越好。
train_runtime：表示训练过程的总运行时间。
train_samples_per_second：表示模型每秒可以处理的样本数。
train_steps_per_second：表示模型每秒可以执行的训练步骤数。

模型存放位置，通常在 saves 文件夹下。

模型评估与预测

点击 Evaluate&Predict。
选择需要使用到的数据集。
预览一下评估命令。
评估结束之后会给一个评估指标。

评估指标说明：

predict_bleu-4：用于评估机器翻译模型输出质量的一个指标。bleu-4 计算的是 4-gram 之间的匹配程度。
predict_model_preparation_time：模型准备时间，单位是秒。
predict_rouge-1：ROUGE 用于评估自动摘要质量的一个指标。衡量 1-gram 的召回率。
predict_rouge-2：衡量 2-gram 之间的匹配度。
predict_rouge-l：衡量最长公共子序列（LCS）的召回率。
predict_runtime：模型运行的总时间，单位为秒。
predict_samples_per_second：每秒处理的样本数量。
predict_steps_per_second：每秒执行的推理步骤数。

可以点击具体链接查看模型评估具体信息。

训练模型对话

选择你想要对话并训练好的模型。
点击加载模型，模型加载完毕之后会提示：模型已加载，可以开始聊天了！
然后就可以开始对话，这个对话就是根据你的风格进行训练出来的。

训练模型导出

点击 Export 切换到模型导出界面。
这些参数按需调节吧，导出设备最好选择自动，不然 CUDA 执行会有一点问题，导出目录需要填写一下。
模型正在导出和导出成功都有提示。
所有模型文件就是在填写的导出路径文件夹内。
导出完毕后建议写一个 requirements.txt 文件，也就是依赖安装文件，方便后期快速部署。

transformers>=4.41.2,<=4.48.3,!=4.46.*,!=4.47.*,!=4.48.0,!=4.48.1,!=4.48.2;python_version<'3.10'
transformers>=4.41.2,<=4.48.3,!=4.46.*,!=4.47.*,!=4.48.0;python_version>='3.10'
datasets>=2.16.0,<=3.2.0
accelerate>=0.34.0,<=1.2.1
peft>=0.11.1,<=0.12.0
trl>=0.8.6,<=0.9.6
tokenizers>=0.19.0,<=0.21.0
gradio>=4.38.0,<=5.12.0
pandas>=2.0.0
scipy
einops
sentencepiece
tiktoken
protobuf
uvicorn
pydantic
fastapi
sse-starlette
matplotlib>=3.7.0
fire
packaging
pyyaml
numpy<2.0.0
av
librosa
tyro<0.9.0

LLaMA-Factory 微调 DeepSeek-R1 模型实战指南

LLaMA-Factory 模型微调基础教程

LLaMA-Factory 概述

LLaMA-Factory 安装

环境依赖详情

依赖安装

CUDA 安装

量化 BitsAndBytes 安装

可视化微调启动

数据集准备

所需工具下载

使用教程

所需数据合并

数据集预处理

DeepSeek-R1 可视化微调

数据集处理

数据详解

LLaMA-Factory 基础设置

模型评估与预测

训练模型对话

训练模型导出

更多推荐文章

相关免费在线工具

LLaMA-Factory 微调 DeepSeek-R1 模型实战指南

LLaMA-Factory 模型微调基础教程

LLaMA-Factory 概述

LLaMA-Factory 安装

环境依赖详情

依赖安装

CUDA 安装

量化 BitsAndBytes 安装

可视化微调启动

数据集准备

所需工具下载

使用教程

所需数据合并

数据集预处理

DeepSeek-R1 可视化微调

数据集处理

数据详解

LLaMA-Factory 基础设置

模型评估与预测

训练模型对话

训练模型导出

微信扫一扫，关注极客日志

更多推荐文章

相关免费在线工具