深度学习优化器（Optimizer）详解：原理、分类与实战

四、超参数调优策略

优化器调参即根据模型实际情况，调整学习率、动量因子、权重衰减等超参数，以优化训练效果和性能。需通过经验和实验找最佳组合，实现快速收敛、减少摆动、防止过拟合。

1. 学习率（Learning Rate）：过大的学习率可能导致模型无法收敛，而过小的学习率则会使训练过程变得缓慢。因此，需要根据实际情况选择合适的学习率。常用策略包括学习率预热（Warmup）和余弦退火。
2. 动量因子：对于使用动量的优化器，动量因子的选择也很重要。动量因子决定了过去梯度对当前梯度的影响程度。合适的动量因子可以加速收敛，减少摆动。
3. 权重衰减：权重衰减是一种正则化方法，用于防止模型过拟合。在优化器中，可以通过添加权重衰减项来减少模型的复杂度。
4. Batch Size：影响梯度的噪声程度和显存占用。较大的 Batch Size 训练更稳定但显存压力大。

五、PyTorch 实战示例

import torch
import torch.nn as nn
import torch.optim as optim

# 定义一个简单的神经网络模型
class SimpleNet(nn.Module):
    def __init__(self):
        super(SimpleNet, self).__init__()
        self.fc = nn.Linear(10, 1)

    def forward(self, x):
        return self.fc(x)

model = SimpleNet()

# 定义损失函数
criterion = nn.MSELoss()

# 定义优化器
# SGD with Momentum
optimizer_sgd = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=1e-5)
# Adam
optimizer_adam = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)

# 模拟训练数据
inputs = torch.randn(32, 10)
targets = torch.randn(32, 1)

# 训练循环
for epoch in range(100):
    # 清空梯度
    optimizer_adam.zero_grad()
    
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    
    # 反向传播
    loss.backward()
    
    # 更新参数
    optimizer_adam.step()
    
    if (epoch + 1) % 10 == 0:
        print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}')

六、常见问题与最佳实践

1. 局部最优与鞍点：高维空间中鞍点比局部最优更常见。动量和自适应学习率有助于逃离鞍点。
2. 学习率调度：不要一开始就使用固定学习率。使用 StepLR 或 CosineAnnealingLR 可以在训练后期进一步降低损失。
3. 梯度裁剪：在 RNN 等序列模型中，梯度爆炸是常见问题，建议使用梯度裁剪（Gradient Clipping）。
4. 混合精度训练：为了加速训练并节省显存，可结合 AMP（Automatic Mixed Precision）使用。

七、总结

选择合适的优化器对模型性能至关重要。对于大多数任务，Adam 是首选，因为它收敛快且对超参数不敏感；若追求极致泛化能力或在特定任务上表现更好，可尝试 SGD with Momentum。实际应用中需结合具体任务进行实验验证，并关注超参数的微调。