大模型微调实战指南：基于 LLaMA-Factory 从零微调 Yi 模型

1. 模型路径：将 model_name_or_path 指向本地下载的模型目录。

   model_name_or_path: ../Yi-1.5-6B-Chat
   

2. 数据集：默认使用 identity 数据集用于测试。如需自定义，需准备 JSONL 格式数据。
3. 训练参数：根据显存情况调整 per_device_train_batch_size 和 gradient_accumulation_steps。

配置文件详解

以下是一个典型的微调配置文件结构说明：

### model
model_name_or_path: ../Yi-1.5-6B-Chat
template: chatml
finetuning_type: lora

### method
stage: sft
do_train: true
quantization_bit: 4
lora_target: all

### dataset
dataset: identity
dataset_dir: data
template: yi

### output
output_dir: saves/yi/lora/sft
logging_steps: 10
save_steps: 100
learning_rate: 1.0e-4
num_train_epochs: 3.0
per_device_train_batch_size: 1
gradient_accumulation_steps: 8

参数说明：

• finetuning_type: 指定微调类型，lora 为低秩适配，full 为全量微调。
• quantization_bit: 量化位数，4 表示 4-bit 量化，节省显存。
• dataset: 指定使用的数据集名称，需在 data 目录下存在对应文件。
• lora_target: 指定需要微调的模块，all 表示所有线性层。

3.3 自定义数据集（进阶）

若希望模型回答特定身份或领域问题，可修改数据集。LLaMA-Factory 支持 JSONL 格式。

数据集格式示例 (custom_data.jsonl)：

{"messages": [{"role": "user", "content": "你好，你是谁？"}, {"role": "assistant", "content": "我是由 XX 公司开发的专属助手。"}]}

将自定义数据放入 data 目录，并在配置文件中修改 dataset: custom_data。

4. 开始微调训练

准备工作完成后，即可启动训练脚本。在 LLaMA-Factory 根目录下执行：

llamafactory-cli train examples/train_qlora/yi_lora_sft_bitsandbytes.yaml

4.1 监控训练过程

• 观察终端输出的 Loss 值变化，Loss 应呈下降趋势。
• 检查 GPU 显存占用，确保未发生 OOM（Out Of Memory）错误。
• 训练结束后，微调后的 LoRA 权重将保存在 output_dir 指定的路径下。

5. 推理测试与评估

训练完成后，加载微调后的模型进行推理测试，验证效果。

5.1 配置推理文件

复制 examples/inference 下的示例配置文件，重命名为 yi_inference.yaml。

修改内容如下：

model_name_or_path: ../Yi-1.5-6B-Chat
adapter_name_or_path: saves/yi/lora/sft
template: chatml

注意：adapter_name_or_path 需指向刚才训练生成的权重目录。

5.2 运行聊天测试

在终端执行以下命令启动交互模式：

llamafactory-cli chat examples/inference/yi_inference.yaml

输入测试问题，例如：'你好，你是谁？'

• 微调前：模型可能回答通用的自我介绍。
• 微调后：模型应根据数据集设定回答特定的身份或领域信息。

5.3 对比分析

建议同时保留原始模型的推理配置进行对比。通过对比微调前后的回答，评估模型在特定任务上的表现是否提升。

6. 常见问题与优化建议

6.1 显存不足

如果训练过程中出现显存溢出，请尝试：

1. 减小 per_device_train_batch_size 至 1 或 0。
2. 开启 gradient_checkpointing 选项。
3. 使用更低的量化精度（如 8-bit 或 4-bit）。

6.2 训练不收敛

若 Loss 震荡或不下降：

1. 检查学习率是否过大，可适当降低 learning_rate。
2. 增加 num_train_epochs 或 gradient_accumulation_steps。
3. 检查数据集质量，确保指令清晰且无噪声。

6.3 导出模型

训练完成后，可将 LoRA 权重合并到基座模型中，生成完整模型以便部署：

llamafactory-cli export --model_name_or_path ../Yi-1.5-6B-Chat --adapter_name_or_path saves/yi/lora/sft --export_dir merged_model

结语

本文详细介绍了使用 LLaMA-Factory 对 Yi-1.5-6B 模型进行 QLoRA 微调的全过程。通过掌握这一流程，您可以快速构建垂直领域的专用大模型。未来可进一步探索多模态微调、RLHF 对齐等高级技术，以满足更复杂的应用场景需求。

注：本文仅做技术交流，实际生产环境请严格遵守数据安全与合规要求。