Llama Factory 微调实战：优化截断长度解决显存溢出

使用以下命令启动训练，同时开启显存监控：

python src/train_bash.py \
  --config train_512.json \
  --use_v2 \
  --visualizer

在另一个终端，运行 nvidia-smi 监控工具：

watch -n 1 nvidia-smi

3. 逐步调整长度值

按照以下步骤寻找最佳截断长度：

1. 从 512 开始，每次增加 256 长度
2. 记录每次训练的显存峰值
3. 当显存使用达到显卡容量的 80% 时停止
4. 选择前一档长度作为最终值

典型测试序列：512 → 768 → 1024 → 1280 → 1536 → 1792 → 2048

4. 验证模型效果

对每个长度配置，使用验证集评估：

from transformers import pipeline
pipe = pipeline("text-generation", model="./output")
print(pipe("请用中文回答：大语言模型微调的关键参数有哪些？"))

重点关注：

• 长文本的连贯性
• 上下文记忆能力
• 任务特定指标（如准确率）

进阶技巧与避坑指南

显存优化组合拳

当单独调整长度仍不足时，可配合以下方法：

• 降低 batch size：从 4 改为 2 或 1
• 使用梯度累积：gradient_accumulation_steps
• 启用混合精度：fp16 或 bf16
• 尝试 LoRA 微调：大幅减少显存需求

常见错误处理

1. CUDA out of memory
   • 立即降低 cutoff_len 或 batch_size
   • 检查是否有其他进程占用显存
2. 训练速度异常慢
   • 确认是否意外启用了 CPU 模式
   • 检查数据加载是否成为瓶颈
3. Loss 波动剧烈
   • 适当降低学习率
   • 增加 warmup 步数

从实验到生产的最佳实践

经过多次测试，总结出以下经验：

1. 黄金比例：显存峰值建议不超过总容量的 85%
2. 长度妥协：在显存限制下，优先保证 batch size > 1
3. 监控指标：不仅要看显存，还要关注 GPU 利用率
4. 文档记录：为每个模型建立配置档案

例如，Qwen-32B 在 A100 80G 上的最终配置：