Llama-Factory 如何设置最佳 Batch Size？性能调优建议
在当前大语言模型（LLM）快速发展的背景下，微调已成为实现垂直领域定制化应用的核心路径。然而，面对动辄数十 GB 显存需求的全参数训练，普通开发者往往望而却步。所幸的是，像 Llama-Factory 这样的开源框架，通过集成 LoRA、QLoRA、梯度累积、混合精度和分布式训练等技术，显著降低了大模型微调的门槛。
而在众多可调参数中，Batch Size 虽然看似简单，实则深刻影响着训练稳定性、收敛速度、显存占用乃至最终模型的泛化能力。一个不合理的设置，轻则导致显存溢出中断训练，重则让模型陷入局部震荡无法收敛。因此，在资源有限的情况下，如何科学配置 Batch Size，成为提升微调效率的关键突破口。
Batch Size 的本质与工作机制
Batch Size 指的是每次前向传播中送入模型的样本数量，它决定了梯度更新所依赖的数据规模。在 Llama-Factory 中，这一参数并非孤立存在，而是与多个机制协同工作，共同塑造训练过程的行为特征。
框架主要通过两个核心参数来控制实际批量大小：
per_device_train_batch_size：单张 GPU 上处理的样本数；gradient_accumulation_steps：梯度累积步数，即在多少个 mini-batch 后才执行一次参数更新。
它们与 GPU 数量共同决定全局有效批大小（Effective Batch Size）：
$$ \text{Effective Batch Size} = \text{per_device_train_batch_size} \times \text{gradient_accumulation_steps} \times \text{num_gpus} $$
这种设计极具灵活性——即便单卡只能承载极小 batch，也能通过累积多步梯度模拟出较大的批量效果，从而兼顾训练稳定性和硬件可行性。
举个例子，若你在一张 RTX 3090（24GB）上微调 Qwen-7B，设 per_device_train_batch_size=2，gradient_accumulation_steps=16，使用单卡，则等效 Batch Size 达到 32。这相当于用低配设备实现了高端集群才能支持的大批量训练体验。
小 Batch vs 大 Batch：一场关于噪声与稳定的博弈
从优化角度看，Batch Size 实质上是在'梯度噪声'与'更新频率'之间做权衡：
- 小 Batch（如 1~2）带来高噪声梯度，虽然每步更新快，但路径震荡明显，容易跳过最优解；不过，这种随机性也有助于逃离尖锐极小值，找到更平坦、泛化更强的解。
- 大 Batch（如 ≥16）提供更平滑的梯度估计，收敛更快且稳定，但可能过早收敛到较差的局部极小，反而损害泛化性能。
实践中我们发现，对于大多数指令微调任务，Effective Batch Size 在 32~128 区间内通常能取得较好平衡。小于 32 可能波动剧烈，大于 128 则需谨慎调整学习率，否则易出现收敛缓慢或失稳现象。
Llama-Factory 内置了对这一规律的支持。例如当启用较大 Batch 时，系统会提示用户按线性缩放规则（Linear Scaling Rule）相应提高学习率：若 Batch 扩大为原来的 4 倍，学习率也应乘以 4，以保持每次更新的尺度一致。
显存瓶颈下的现实抉择
尽管理论上越大 Batch 越有利于并行效率，但在真实场景中，显存才是第一道硬约束。Batch Size 对显存的影响几乎是线性的——增加一倍样本量，激活值、缓存和梯度存储都会随之翻倍。
以 LLaMA-7B 为例，在 BF16 精度下进行 LoRA 微调：
per_device_train_batch_size=1→ 单卡显存约 15~18GB；- 提升至
=4→ 显存需求逼近 28~32GB； - 若再叠加长序列（如 2048 token），很可能直接触发 OOM（Out of Memory）错误。
这就要求我们在配置时必须'因地制宜'。以下是基于不同硬件条件的经验性推荐：
| 模型规模 | GPU 显存 | 推荐 per_device_train_batch_size |
|---|
