LLaMA-Factory 多 GPU 微调加速指南
为什么需要多卡训练？
大模型微调对显存的需求往往超出单张 GPU 的能力范围。以常见的 7B 模型为例：
- 全参数微调：显存需求约 133.75GB
- LoRA 微调（rank=4）：显存需求约 75.42GB
- 推理需求：模型参数的 2 倍（如 7B 模型需要 14GB）
实测中，单张 A100 80G 显卡在全参数微调时经常出现 OOM（内存不足）错误。这时就需要通过多卡并行技术将计算负载分配到多个 GPU 上。LLaMA-Factory 作为流行的微调框架，原生支持 DeepSpeed 等分布式训练方案。
多卡训练前的准备工作
硬件环境检查
- 确认 GPU 设备数量及型号：
nvidia-smi -L
- 检查 NCCL 通信库是否正常：
nccl-tests/build/all_reduce_perf -b 8 -e 256M -f 2 -g <GPU 数量>
软件环境配置
LLaMA-Factory 镜像通常已预装以下组件：
- PyTorch with CUDA 支持
- DeepSpeed
- NCCL
- FlashAttention
建议通过以下命令验证环境：
python -c "import torch; print(torch.cuda.device_count())"
多卡训练配置实战
基础启动命令
使用 DeepSpeed Zero-3 策略启动 4 卡训练：
deeepspeed --num_gpus=4 src/train_bash.py \
--deepspeed examples/deepspeed/ds_z3_offload_config.json \
--model_name_or_path /path/to/model \
--data_path /path/to/data \
--output_dir /path/to/output
关键参数说明：
| 参数 | 作用 | 典型值 |
|---|---|---|
--per_device_train_batch_size | 单卡 batch size | 根据显存调整 |
--gradient_accumulation_steps | 梯度累积步数 | 4-8 |
--learning_rate | 学习率 | 1e-5 到 5e-5 |
--max_length | 序列最大长度 | 512-2048 |
显存优化技巧
- 混合精度训练：
{
"fp16": {"enabled"
