LLaMA Factory：大语言模型微调的终极开源工具

如果你也想尽快推出自己的大模型，这个框架肯定是你学习成本最小的方式。

LLaMA Factory 是什么

LLaMA-Factory 是一个统一的框架，集成了一套先进的高效训练方法。它允许用户通过内置的 Web UI 灵活定制 100 多个 LLMs 的微调，而无需编写代码。

项目具有以下的特色：

• 多种模型：LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等。
• 集成方法：（增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练。
• 多种精度：32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。
• 先进算法：GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 Agent 微调。
• 实用技巧：FlashAttention-2、Unsloth、RoPE scaling、NEFTune 和 rsLoRA。
• 实验监控：LlamaBoard、TensorBoard、Wandb、MLflow 等等。
• 极速推理：基于 vLLM 的 OpenAI 风格 API、浏览器界面和命令行接口。

与 ChatGLM 官方的 P-Tuning 微调相比，LLaMA Factory 的 LoRA 微调提供了 3.7 倍的加速比，同时在广告文案生成任务上取得了更高的 Rouge 分数。结合 4 比特量化技术，LLaMA Factory 的 QLoRA 微调进一步降低了 GPU 显存消耗。

部署安装

LLaMA Factory 的部署安装非常简单，只需要按照官方仓库中的步骤执行即可，执行命令如下：

# 克隆仓库
git clone https://github.com/hiyouga/LLaMA-Factory.git
# 创建虚拟环境
conda create -n llama_factory python=3.10
# 激活虚拟环境
conda activate llama_factory
# 安装依赖
cd LLaMA-Factory
pip install -r requirements.txt

接下来是下载 LLM，可以选择自己常用的 LLM，包括 ChatGLM，BaiChuan，QWen，LLaMA 等，这里我们下载 BaiChuan 模型进行演示：

# 方法一：开启 git lfs 后直接 git clone 仓库
git lfs install
git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat

# 方法二：先下载仓库基本信息，不下载大文件，然后再通过 huggingface 上的文件链接下载大文件
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat
cd Baichuan2-13B-Chat
wget "https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat/resolve/main/pytorch_model-00001-of-00003.bin"

方法一的方式会将仓库中的 git 记录一并下载，导致下载下来的文件比较大，建议是采用方法二的方式，速度更快整体文件更小。

使用 LLaMA Factory

启动 LLaMA Factory 的 WebUI 页面，执行命令如下：

CUDA_VISIBLE_DEVICES=0 python src/train_web.py

启动后的界面分为上下两部分，上半部分是模型训练的基本配置，有如下参数：

• 模型名称：可以使用常用的模型，包括 ChatGLM，BaiChuan，QWen，LLaMA 等，我们根据下载的模型选择 Baichuan2-13B-Chat。
• 模型路径：输入框填写我们之前下载的 Baichuan 模型的地址。
• 微调方法：有三种选项。
  • full：将整个模型都进行微调。
  • freeze：将模型的大部分参数冻结，只对部分参数进行微调。
  • lora：将模型的部分参数冻结，只对部分参数进行微调，但只在特定的层上进行微调。
• 模型断点：在未开始微调前为空，微调一次后可以点击刷新断点按钮，会得到之前微调过的断点。
• 高级设置和模型设置：可以不用管，使用默认值即可。

下半部分是一个页签窗口，分为 Train、Evaluate、Chat、Export 四个页签，微调先看 Train 界面，有如下参数：

• 训练阶段：选择训练阶段，分为预训练（Pre-Training）、指令监督微调（Supervised Fine-Tuning）、奖励模型训练（Reward Modeling）、PPO、DPO 五种，这里我们选择指令监督微调（Supervised Fine-Tuning）。
  • Pre-Training：在该阶段，模型会在一个大型数据集上进行预训练，学习基本的语义和概念。
  • Supervised Fine-Tuning：在该阶段，模型会在一个带标签的数据集上进行微调，以提高对特定任务的准确性。
  • Reward Modeling：在该阶段，模型会学习如何从环境中获得奖励，以便在未来做出更好的决策。
  • PPO Training：在该阶段，模型会使用策略梯度方法进行训练，以提高在环境中的表现。
  • DPO Training：在该阶段，模型会使用深度强化学习方法进行训练，以提高在环境中的表现。
• 数据路径：指训练数据集文件所在的路径，这里的路径指的是 LLaMA Factory 目录下的文件夹路径，默认是 data 目录。
• 数据集：这里可以选择数据路径中的数据集文件，这里我们选择 self_cognition 数据集，这个数据集是用来调教 LLM 回答诸如'你是谁'、'你由谁制造'这类问题的，里面的数据比较少只有 80 条左右。在微调前我们需要先修改这个文件中的内容，将里面的占位符替换成我们的 AI 机器人名称和公司名称。

数据集格式示例： 为了便于理解，以下是标准的 JSON 格式数据集示例，包含 instruction（指令）、input（输入）和 output（输出）字段：

[
  {
    "instruction": "请介绍一下你自己",
    "input": "",
    "output": "我是由 XX 公司开发的 AI 助手，旨在提供智能问答服务。"
  },
  {
    "instruction": "你的制造商是谁？",
    "input": "",
    "output": "我的制造商是 XX 公司。"
  }
]

选择了数据集后，可以点击右边的预览数据集按钮来查看数据集的前面几行的内容。

• 学习率：学习率越大，模型的学习速度越快，但是学习率太大的话，可能会导致模型在寻找最优解时跳过最优解，学习率太小的话，模型学习速度会很慢，所以这个参数需要根据实际情况进行调整，这里我们使用默认值 5e-5。
• 训练轮数：训练轮数越多，模型的学习效果越好，但是训练轮数太多的话，模型的训练时间会很长，因为我们的训练数据比较少，所以要适当增加训练轮数，这里将值设置为 30。
• 最大样本数：每个数据集最多使用的样本数，因为我们的数据量很少只有 80 条，所以用默认值就可以了。
• 计算类型：这里的 fp16 和 bf16 是指数字的数据表示格式，主要用于深度学习训练和推理过程中，以节省内存和加速计算，这里我们选择 bf16。
• 学习率调节器：有以下选项可以选择，这里我们选择默认值 cosine。
  • linear（线性）：随着训练的进行，学习率将以线性方式减少。
  • cosine（余弦）：这是根据余弦函数来减少学习率的。在训练开始时，学习率较高，然后逐渐降低并在训练结束时达到最低值。
  • cosine_with_restarts（带重启的余弦）：和余弦策略类似，但是在一段时间后会重新启动学习率，并多次这样做。
  • polynomial（多项式）：学习率会根据一个多项式函数来减少，可以设定多项式的次数。
  • constant（常数）：学习率始终保持不变。
  • constant_with_warmup（带预热的常数）：开始时，学习率会慢慢上升到一个固定值，然后保持这个值。
  • inverse_sqrt（反平方根）：学习率会随着训练的进行按照反平方根的方式减少。
  • reduce_lr_on_plateau（在平台上减少学习率）：当模型的进展停滞时（例如，验证误差不再下降），学习率会自动减少。
• 梯度累积和最大梯度范数：这两个参数通常可以一起使用，以保证在微调大型语言模型时，能够有效地处理大规模数据，同时保证模型训练的稳定性。梯度累积允许在有限的硬件资源上处理更大的数据集，而最大梯度范数则可以防止梯度爆炸，保证模型训练的稳定性，这里我们使用默认值即可。
• 断点名称：默认是用时间戳作为断点名称，可以自己修改。
• 其他参数：使用默认值即可。

参数设置完后点击预览命令按钮可以查看本次微调的命令，确认无误后点击开始按钮就开始微调了，因为数据量比较少，大概几分钟微调就完成了 (具体时间还要视机器配置而定，笔者使用的是 A40 48G GPU)，在界面的右下方还可以看到微调过程中损失函数曲线，损失函数的值越低，模型的预测效果通常越好。

进入 Chat 页签对微调模型进行试用。首先点击页面上的刷新断点按钮，然后选择我们最近微调的断点名称，再点击加载模型按钮，等待加载完成后就可以进行对话了，输入微调数据集中的问题，然后来看看微调后的 LLM 的回答吧。

LLaMA-Factory 结构

LLaMA-Factory 由三个主要模块组成：模型加载器（Model Loader）、数据处理器（Data Worker）和训练器（Trainer）。

• 模型加载器：准备了各种架构用于微调，支持超过 100 个 LLMs。
• 数据处理器：通过一个设计良好的管道处理来自不同任务的数据，支持超过 50 个数据集。
• 训练器：统一了高效微调方法，使这些模型适应不同的任务和数据集，提供了四种训练方法。
• LLaMA Board：为上述模块提供了友好的可视化界面，使用户能够以无需编写代码的方式配置和启动单个 LLM 微调过程，并实时监控训练状态。

总结

在人工智能领域，大型语言模型 (LLM) 微调（Fine-Tuning）是当下最热门的话题之一。总体来说 LLaMA Factory 是一个非常优质的工具，在 LLM 微调中帮助用户节省了大量的精力。

这些模型拥有惊人的语言理解和生成能力，但要微调和部署它们以适应特定任务，往往需要大量计算资源和专业知识，代码调试还得有深厚的技术功底。LLaMA Factory 通过可视化的操作界面和高度集成的后端逻辑，极大地降低了这一门槛，使得个人开发者和中小团队也能轻松上手大模型微调。

项目信息

• 项目名称：LLaMA Factory
• GitHub 链接：https://github.com/hiyouga/LLaMA-Factory
• Star 数：20K+

常见问题与最佳实践

在实际使用中，为了确保微调效果稳定，建议遵循以下最佳实践：

1. 数据质量优先：确保训练数据的准确性和多样性。清洗掉重复、错误或不相关的数据，高质量的指令数据能显著提升模型的表现。
2. 显存管理：如果显存不足，优先尝试 QLoRA 模式，并结合 4bit 量化。同时关闭不必要的后台进程，释放系统资源。
3. 超参数调整：学习率和训练轮数是关键参数。如果发现 Loss 震荡，可以尝试减小学习率或增加 Warmup 比例；如果 Loss 下降缓慢，可适当增加训练轮数或检查数据分布。
4. 评估指标：除了观察 Loss 曲线，还应关注验证集上的评估指标（如 Perplexity, Accuracy），避免过拟合。
5. 版本兼容性：定期更新 LLaMA Factory 到最新版本，以获取最新的模型支持和算法优化。注意 Python 环境和依赖包的版本匹配。