大模型微调实战指南：基于 LLaMA-Factory 从零微调 Yi 模型

大模型微调实战指南：基于 LLaMA-Factory 从零微调 Yi 模型 | 极客日志

大模型微调实战指南：基于 LLaMA-Factory 从零微调 Yi 模型

前言

大模型微调（Fine-tuning）是个性化定制 AI 能力的关键步骤。通过微调，可以让通用大模型适应特定领域的知识或特定的对话风格。本文将以零一万物的 Yi-1.5-6B 开源模型为例，使用 LLaMA-Factory 框架，在云端 GPU 环境下演示完整的微调流程。

本指南适合希望了解大模型微调基本流程的开发者。我们将涵盖环境准备、模型下载、配置文件编写、训练执行及推理测试五个核心环节。

1. 账号和环境准备

微调大模型通常需要高性能 GPU 资源。为了降低门槛，我们推荐使用 ModelScope（魔搭社区）提供的免费 GPU 算力环境。

1.1 注册与登录

访问 ModelScope 官网并注册账号。
登录后进入个人主页。
申请开通免费 GPU 算力资源（新用户通常有试用额度）。

1.2 启动开发环境

在 ModelScope 模型页找到目标模型页面（例如 Yi-1.5-6B-Chat）。
选择方式二：GPU 环境，点击'启动'。
等待约 2 分钟，环境初始化完成后点击'查看 Notebook'进入 JupyterLab 界面。
在 Notebook 标签页新建一个空白 Notebook，或在 Terminal 中直接操作。

1.3 安装依赖库

在 Notebook 的代码单元格中执行以下命令，确保 Python 环境及基础库更新：

!pip3 install --upgrade pip
!pip3 install bitsandbytes>=0.39.0

随后拉取 LLaMA-Factory 项目仓库：

!git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

进入目录并安装框架依赖（此步骤耗时较长，请耐心等待）：

cd LLaMA-Factory
pip3 install -e ".[torch,metrics]"

2. 下载基座模型

本次实验选用 Yi-1.5-6B-Chat 作为基座模型。该模型权重可在 HuggingFace 或 ModelScope 获取，建议优先从 ModelScope 下载以加速国内网络访问。

2.1 模型克隆

在终端或 Notebook 中执行以下命令克隆模型仓库：

!git clone https://www.modelscope.cn/01ai/Yi-1.5-6B-Chat.git

注意：模型文件较大（约 12GB），下载时间取决于网络状况。

2.2 验证模型路径

确认模型已下载至当前目录下的 Yi-1.5-6B-Chat 文件夹内，后续配置中将引用此路径。

3. 微调实战配置

LLaMA-Factory 提供了丰富的微调脚本和配置文件。我们将使用 QLoRA 技术进行高效微调，该方法能显著降低显存占用。

3.1 创建配置文件

在 LLaMA-Factory/examples/train_qlora 目录下，复制一份示例配置文件 llama3_lora_sft_awq.yaml，并重命名为 yi_lora_sft_bitsandbytes.yaml。

3.2 修改关键参数

打开新创建的 YAML 文件，重点修改以下内容：

模型路径：将 model_name_or_path 指向本地下载的模型目录。
```
model_name_or_path: ../Yi-1.5-6B-Chat
```
数据集：默认使用 identity 数据集用于测试。如需自定义，需准备 JSONL 格式数据。
训练参数：根据显存情况调整 per_device_train_batch_size 和 gradient_accumulation_steps。

配置文件详解

以下是一个典型的微调配置文件结构说明：

### model
model_name_or_path: ../Yi-1.5-6B-Chat
template: chatml
finetuning_type: lora

### method
stage: sft
do_train: true
quantization_bit: 4
lora_target: all

### dataset
dataset: identity
dataset_dir: data
template: yi

### output
output_dir: saves/yi/lora/sft
logging_steps: 10
save_steps: 100
learning_rate: 1.0e-4
num_train_epochs: 3.0
per_device_train_batch_size: 1
gradient_accumulation_steps: 8

参数说明：

finetuning_type: 指定微调类型，lora 为低秩适配，full 为全量微调。
quantization_bit: 量化位数，4 表示 4-bit 量化，节省显存。
dataset: 指定使用的数据集名称，需在 data 目录下存在对应文件。
lora_target: 指定需要微调的模块，all 表示所有线性层。

3.3 自定义数据集（进阶）

若希望模型回答特定身份或领域问题，可修改数据集。LLaMA-Factory 支持 JSONL 格式。

数据集格式示例 (custom_data.jsonl)：

{"messages": [{"role": "user", "content": "你好，你是谁？"}, {"role": "assistant", "content": "我是由 XX 公司开发的专属助手。"}]}

将自定义数据放入 data 目录，并在配置文件中修改 dataset: custom_data。

4. 开始微调训练

准备工作完成后，即可启动训练脚本。在 LLaMA-Factory 根目录下执行：

llamafactory-cli train examples/train_qlora/yi_lora_sft_bitsandbytes.yaml

4.1 监控训练过程

观察终端输出的 Loss 值变化，Loss 应呈下降趋势。
检查 GPU 显存占用，确保未发生 OOM（Out Of Memory）错误。
训练结束后，微调后的 LoRA 权重将保存在 output_dir 指定的路径下。

5. 推理测试与评估

训练完成后，加载微调后的模型进行推理测试，验证效果。

5.1 配置推理文件

复制 examples/inference 下的示例配置文件，重命名为 yi_inference.yaml。

修改内容如下：

model_name_or_path: ../Yi-1.5-6B-Chat
adapter_name_or_path: saves/yi/lora/sft
template: chatml

注意：adapter_name_or_path 需指向刚才训练生成的权重目录。

5.2 运行聊天测试

在终端执行以下命令启动交互模式：

llamafactory-cli chat examples/inference/yi_inference.yaml

输入测试问题，例如：'你好，你是谁？'

微调前：模型可能回答通用的自我介绍。
微调后：模型应根据数据集设定回答特定的身份或领域信息。

5.3 对比分析

建议同时保留原始模型的推理配置进行对比。通过对比微调前后的回答，评估模型在特定任务上的表现是否提升。

6. 常见问题与优化建议

6.1 显存不足

如果训练过程中出现显存溢出，请尝试：

减小 per_device_train_batch_size 至 1 或 0。
开启 gradient_checkpointing 选项。
使用更低的量化精度（如 8-bit 或 4-bit）。

6.2 训练不收敛

若 Loss 震荡或不下降：

检查学习率是否过大，可适当降低 learning_rate。
增加 num_train_epochs 或 gradient_accumulation_steps。
检查数据集质量，确保指令清晰且无噪声。

6.3 导出模型

训练完成后，可将 LoRA 权重合并到基座模型中，生成完整模型以便部署：

llamafactory-cli export --model_name_or_path ../Yi-1.5-6B-Chat --adapter_name_or_path saves/yi/lora/sft --export_dir merged_model

结语

本文详细介绍了使用 LLaMA-Factory 对 Yi-1.5-6B 模型进行 QLoRA 微调的全过程。通过掌握这一流程，您可以快速构建垂直领域的专用大模型。未来可进一步探索多模态微调、RLHF 对齐等高级技术，以满足更复杂的应用场景需求。

注：本文仅做技术交流，实际生产环境请严格遵守数据安全与合规要求。

大模型微调实战指南：基于 LLaMA-Factory 从零微调 Yi 模型