深度学习训练流程拆解：从数据到参数更新

常见实现里会用到 torch.nn.MSELoss、torch.nn.CrossEntropyLoss。

损失函数选错，训练方向就会歪。比如分类任务硬用 MSE，不是不能跑，但通常不如交叉熵自然，收敛和效果都会别扭一些。

5. 反向传播：把误差传回去算梯度

有了损失之后，才轮到反向传播。它的作用是用链式法则从 L 反推每个参数的梯度 ∂L/∂θ。

实现上，PyTorch 和 TensorFlow 都依赖自动微分（Autograd）去构建计算图并求导。loss.backward() 就是在做这件事。

如果做梯度累积，常见做法是多次前向后再统一反向，借此模拟更大的 batch。这个方案不花哨，但在显存紧的时候挺实用。

反向传播前记得清零梯度：optimizer.zero_grad()。不清的话，历史梯度会混进去，训练结果很快就乱掉。梯度爆炸或消失的问题，通常要靠梯度裁剪（Clipping）或者一些归一化手段处理。

6. 优化器：按梯度更新参数

梯度算出来以后，优化器负责真正改参数。它把损失往下降的方向推一小步，形成下一轮迭代。

这里的 g_t 是优化器算出来的更新方向，可能带动量，也可能带自适应学习率。

PyTorch 里常见的是 torch.optim.Adam 和 torch.optim.SGD。学习率 η 往往比算法名字更关键，调得太大容易震荡，太小又会慢得让人怀疑是不是没在训练。

一个完整的 PyTorch 训练循环

import torch
import torch.nn as nn
import torch.optim as optim

# 假设已定义 model, dataloader, criterion, optimizer
for x, y in dataloader:
    # ② 数据选择（mini-batch）
    x, y = x.to(device), y.to(device)
    
    # ③ 前向传播：预测输出
    y_hat = model(x)  # f_θ(x)
    
    # ④ 计算损失
    loss = criterion(y_hat, y)
    
    # ⑤ 反向传播：计算梯度
    optimizer.zero_grad()  # 清零梯度
    loss.backward()        # 自动求导
    
    # ⑥ 优化器：更新参数
    optimizer.step()

这个循环会一直重复，直到模型收敛，或者你手动停下来。

结尾

把这六步连起来看，训练流程其实就是三件事：先把数据变成模型能理解的形式，再让模型产生预测，最后用损失和梯度把参数一点点推向更好的方向。

它和传统编程最大的不同也在这里：传统程序的逻辑是写死的，训练出来的模型则是靠数据把参数'磨'出来的。