深度神经网络的参数初始化方法

深度神经网络的参数初始化方法 | 极客日志

深度神经网络的参数初始化方法

引言

在深度学习模型训练中，参数初始化是决定模型能否成功收敛的关键步骤之一。不恰当的初始值可能导致梯度消失、梯度爆炸或对称权重问题，使得网络无法有效学习特征。本文基于《深度学习入门：基于 Python 的实现》及神经网络与深度学习（NNDL）等经典资料，系统梳理深度神经网络的参数初始化策略，涵盖随机初始化、方差缩放方法及预训练初始化，并提供实践建议。

一、随机初始化基础

1.1 为什么不能全零初始化

在线性模型中，将所有参数初始化为 0 通常是可以接受的。但在神经网络中，如果所有权重 $W$ 和偏置 $b$ 都初始化为 0，会导致严重的对称权重现象：

前向传播：同一层的所有神经元接收相同的输入，由于权重相同，计算出的激活值也完全相同。
反向传播：由于激活值相同，计算出的梯度也相同，导致权重更新量一致。
结果：隐藏层神经元失去区分性，相当于只有一个神经元在工作，丧失了多层网络的表达能力。

为了打破这种对称性，必须对每个参数进行随机初始化（Random Initialization），确保不同神经元之间的差异。

1.2 固定方差初始化的局限性

早期的随机初始化方法通常使用均匀分布或高斯分布，并设定固定的方差（如标准正态分布 $N(0, 1)$）。然而，这种方法存在明显缺陷：

方差过大：若权重取值范围太大，会导致输入状态过大。对于 Sigmoid 型激活函数，激活值进入饱和区，梯度接近于 0。在深层网络的反向传播中，梯度会不断变小，引发梯度消失问题。
方差过小：若权重取值范围太小，神经元输出趋近于 0。经过多层传递后信号逐渐消失（学不动）。此外，Sigmoid 函数在 0 附近近似线性，多层网络的非线性能力受限，优势不再存在。

因此，简单的固定方差无法满足深层网络的需求，需要根据网络结构自适应调整。

二、基于方差缩放的初始化方法

为缓解梯度消失或爆炸问题，核心思想是尽可能保持每一层神经元的输入和输出的方差一致。根据神经元的连接数量（fan-in），自适应地调整初始化分布的方差，这类方法称为方差缩放（Variance Scaling）。

2.1 Xavier 初始化

Xavier 初始化（也称 Glorot 初始化）假设激活函数为恒等函数或线性区间较大的函数（如 Sigmoid、Tanh）。其目标是保持前向传播时信号的方差不变，同时保持反向传播时梯度的方差不变。

公式定义： 设第 $l$ 层的输入维度为 $n_l$，输出维度为 $n_{l+1}$。权重 $W$ 从以下分布中采样：

$$ W \sim U\left[-\frac{\sqrt{6}}{\sqrt{n_l + n_{l+1}}}, \frac{\sqrt{6}}{\sqrt{n_l + n_{l+1}}}\right] $$

或者使用高斯分布： $$ W \sim N\left(0, \frac{2}{n_l + n_{l+1}}\right) $$

特点：

前一层的节点数越多，目标节点的权重尺度越小。
使各层的激活值呈现出具有相同广度的分布，避免梯度消失，保持网络表达能力。
适用于 Sigmoid 和 Tanh 激活函数。

2.2 He 初始化

随着 ReLU 及其变体（Leaky ReLU, PReLU）的广泛应用，Xavier 初始化不再是最优选择。因为 ReLU 在负值区域输出为 0，这改变了方差的统计特性。He 初始化专门针对 ReLU 设计。

原理： ReLU 将负半轴截断，导致方差减半。为了补偿这一损失，需要将方差扩大 2 倍。

公式定义： $$ W \sim N\left(0, \frac{2}{n_l}\right) $$ 其中 $n_l$ 是输入连接的个数（fan-in）。

对比总结：

激活函数	推荐初始化方法	原因
Sigmoid / Tanh	Xavier	激活函数在 0 附近线性，需平衡前后方差
ReLU / Leaky ReLU	He	负值截断导致方差减半，需放大系数

2.3 代码实现示例

在实际开发中，推荐使用主流深度学习框架提供的初始化接口。以下是 PyTorch 中的常见用法：

import torch
import torch.nn as nn

# 定义一个简单的全连接层
linear_layer = nn.Linear(in_features=784, out_features=512)

# 使用 He 初始化 (默认用于 ReLU 后的层)
# 注意：PyTorch 的 Linear 层默认使用 kaiming_uniform_ (He 的一种变体)
torch.nn.init.kaiming_uniform_(linear_layer.weight, a=0)

# 显式使用 Xavier 初始化
# torch.nn.init.xavier_uniform_(linear_layer.weight)

# 查看权重分布
print(f"Weight Mean: {linear_layer.weight.mean():.4f}")
print(f"Weight Std: {linear_layer.weight.std():.4f}")

三、预训练初始化

不同的参数初始值会收敛到不同的局部最优解。尽管这些局部最优解在训练集上的损失可能接近，但泛化能力差异巨大。一个好的初始值能引导网络收敛到泛化能力更强的解。

3.1 预训练的作用

预训练通常被视为一种正则化手段。通过在大规模数据集上预先训练模型，使其学习到通用的特征表示，然后再在目标任务上进行微调（Fine-Tuning）。

监督预训练：例如在 ImageNet 上预训练 ResNet50，然后在特定分类任务上微调。
无监督/自监督预训练：更易获取大规模数据。例如 BERT 通过 Masked LM 和 Next Sentence Prediction 任务，挖掘数据隐含结构，学习通用语言表示。

3.2 精调（Fine-Tuning）流程

加载预训练权重：读取在源任务上训练好的模型参数。
修改网络结构：替换最后的全连接层以适配新任务的类别数。
设置学习率：通常预训练部分使用较小的学习率，新添加的层使用较大的学习率。
迭代训练：在目标任务数据上继续优化参数。

四、最佳实践与注意事项

激活函数匹配：
- 使用 ReLU 系列激活函数时，务必使用 He 初始化（kaiming_normal_ 或 kaiming_uniform_）。
- 使用 Sigmoid/Tanh 时，使用 Xavier 初始化（xavier_normal_ 或 xavier_uniform_）。
避免手动猜测：不要随意设定权重的标准差（如 std=0.01），应依赖框架提供的初始化器，它们已针对常见激活函数进行了理论推导。
结合 Batch Normalization：如果使用了 Batch Normalization 层，权重的初始化要求会降低，因为 BN 会将输入标准化。此时可以使用较宽的初始化范围，甚至简单的 Xavier 即可。
检查梯度流：在训练初期，监控第一层的梯度范数。如果梯度迅速变为 0 或无穷大，说明初始化可能存在问题，需尝试更换初始化方法。

五、总结

参数初始化是深度学习模型构建的基础环节。理解对称权重问题、掌握 Xavier 与 He 初始化的数学原理，并根据激活函数选择合适的初始化策略，能够显著提升模型的收敛速度和最终性能。对于复杂任务，结合预训练和迁移学习则是进一步提升泛化能力的有效途径。

深度神经网络的参数初始化方法