Llama Factory 大模型微调显存优化技巧

2. 使用 LoRA 或 QLoRA 进行参数高效微调

LoRA（Low-Rank Adaptation）可以大幅减少可训练参数数量：

model_args = ModelArguments(
    lora_rank=8,  # LoRA 的秩
    lora_alpha=16,  # LoRA 的 alpha 值
    lora_dropout=0.1,  # LoRA 的 dropout 率
)

QLoRA 更进一步，结合了 4 位量化和 LoRA：

model_args = ModelArguments(
    load_in_4bit=True,  # 使用 4 位量化
    use_qlora=True,  # 使用 QLoRA
)

3. 优化器选择与配置

某些优化器比其他优化器更节省显存：

• 使用 adamw_bnb_8bit 代替标准 AdamW
• 使用 adafactor 优化器

training_args = TrainingArguments(
    optim="adamw_bnb_8bit",  # 使用 8 位 AdamW
    # 或 optim="adafactor"
)

实战：显存使用分析与调优

1. 监控显存使用情况

在训练过程中监控显存使用：

nvidia-smi -l 1  # 每秒刷新一次显存使用情况

2. 估算显存需求

可以使用以下公式粗略估算显存需求：

总显存 ≈ 模型参数 × (4 + 优化器开销) × 批处理大小

其中：

• FP32 训练：优化器开销≈12
• FP16 训练：优化器开销≈6
• LoRA 微调：可大幅降低参数数量

3. 常见配置示例

以下是一个在 24GB 显存 GPU 上的配置示例：

model_args = ModelArguments(
    model_name_or_path="meta-llama/Llama-2-7b-hf",
    load_in_4bit=True,
    use_qlora=True,
    lora_rank=64,
    lora_alpha=16,
)

training_args = TrainingArguments(
    per_device_train_batch_size=2,
    gradient_accumulation_steps=4,
    gradient_checkpointing=True,
    bf16=True,
    optim="adamw_bnb_8bit",
)

总结与下一步建议

通过本文介绍的技巧，你应该能够解决大多数显存不足的问题。我的经验是，从以下几个方面入手效果最明显：

1. 首先尝试启用梯度检查点和混合精度训练
2. 如果仍然不足，考虑使用 LoRA 或 QLoRA
3. 最后才考虑减小批处理大小或增加梯度累积步数

在实际操作中，你可以先从一个保守的配置开始，然后逐步增加批处理大小或模型规模，直到找到显存使用的上限。记住，不同的模型和任务对显存的需求可能差异很大，需要根据实际情况调整。

现在，你可以尝试将这些技巧应用到你的项目中，看看能节省多少显存。如果遇到特定问题，Llama Factory 的文档通常能提供有价值的参考。祝你微调顺利！