在深度学习开发中，训练效率直接影响实验迭代速度和资源成本。许多开发者仍在使用 32 位精度计算或在单 GPU 上串行训练，这往往导致内存浪费和训练缓慢。随着硬件与框架的演进，通过混合精度、多卡并行及数据加载优化等手段，可以显著提升 PyTorch 模型的训练性能。
以下总结了提升 PyTorch 模型训练速度的 9 个核心技巧，主要基于 PyTorch-Lightning 库的最佳实践进行说明。PyTorch-Lightning 是建立在 PyTorch 之上的高层封装，提供了自动化训练功能，同时允许开发者完全控制关键模型组件。
1. 使用 DataLoader 高效加载数据
使用 DataLoader 来加载数据是获得训练速度提升的最简单方法之一。传统的 h5py 或 numpy 文件存储方式已逐渐被更高效的流式加载取代。对于图像数据，直接使用 PyTorch 的 DataLoader；对于 NLP 数据，可参考 TorchText 库。
在 PyTorch-Lightning 中，无需显式编写训练循环，只需定义好 DataLoaders 和 Trainer，框架会自动调用它们。
from torch.utils.data import DataLoader
from torchvision.datasets import MNIST
dataset = MNIST(root='./data', train=True, download=True)
loader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4, pin_memory=True)
for batch in loader:
x, y = batch
model.training_step(x, y)
在此示例中，首先创建数据集实例，然后使用 DataLoader 封装。shuffle=True 确保数据随机打乱，pin_memory=True 可加速 CPU 到 GPU 的数据传输。DataLoader 支持批量大小调整，可根据实际需求优化。
2. 设置 num_workers 参数并行加载
在 DataLoader 中，设置 num_workers 参数允许批量并行加载数据，从而减少 IO 瓶颈。默认情况下，数据在主进程加载，速度较慢。
# 慢：主进程加载
loader = DataLoader(dataset, batch_size=32, shuffle=True)
# 快：启用 4 个 worker 进程
loader = DataLoader(dataset, batch_size=32, shuffle=True, num_workers=4)
将 num_workers 设置为 CPU 核心数附近（如 4 或 8），可启用并行加载。但需注意，过多的 worker 可能导致资源竞争，应根据系统内存和 IO 能力调整。
3. 增大 Batch Size
增加批量大小（batch size）到硬件允许的最大范围是重要的优化策略。较大的 batch size 能带来以下好处：
- 更高效利用计算资源：充分利用 GPU 的并行计算能力，提高吞吐量。
- 减少传输次数：降低数据加载和传输频率。
