Llama Factory 微调：如何选择最佳超参数

典型场景配置方案

1. 单卡微调 7B 模型

learning_rate: 3e-5
per_device_train_batch_size: 4
max_length: 1024
optim: adamw_torch
lr_scheduler_type: cosine
warmup_ratio: 0.1

2. 多卡微调 13B 模型

deeepspeed --num_gpus=2 run_finetune.py \
  --model_name_or_path llama-13b \
  --use_lora \
  --lora_rank 8 \
  --batch_size 8 \
  --gradient_accumulation_steps 2

注意：使用梯度累积（gradient_accumulation_steps）可模拟更大 batch size

常见问题与调优技巧

1. OOM（显存不足）解决方案

• 降低 batch size（优先尝试）
• 减小 max_length（对长文本任务影响较大）
• 启用梯度检查点：

trainer = LLaMATrainer(
    gradient_checkpointing=True,
    gradient_accumulation_steps=4
)

2. 训练不收敛排查

1. 检查学习率是否过高/过低
2. 验证数据预处理是否正确
3. 尝试 warmup 步骤（建议 10% 总步数）
4. 监控 loss 曲线：

tensorboard --logdir ./runs

总结与下一步实践

通过本文的指导，你应该已经掌握了 LLaMA-Factory 微调时的关键超参数选择策略。记住这些实践要点：

• 始终从较小学习率开始测试
• 根据显存容量平衡 batch size 和序列长度
• LoRA 等高效微调方法能大幅降低资源需求
• 监控训练过程并及时调整参数

现在就可以尝试用不同的参数组合微调你的 Llama 模型了。建议先用小规模数据快速验证参数效果，再扩展到完整数据集。当熟悉基本流程后，可以进一步探索：

• 不同优化器（AdamW vs SGD）的影响
• 学习率调度策略的比较
• 混合精度训练的进阶配置

微调大模型虽然需要耐心调参，但通过系统化的方法和工具支持，每个研究者都能找到适合自己任务的最佳配置。