二元交叉熵性质解析及其在 DPO 中的应用

二元交叉熵的性质

定义与公式

Loss = -\frac{1}{N} \sum_{i=1}^{N} (y_i \cdot \log(p(y_i)) + (1 - y_i) \cdot \log(1 - p(y_i))) 

其中：

• $N$ 是样本数量。
• $y_i$ 是真实标签（0 或 1）。
• $p(y_i)$ 是模型预测样本为 1 的概率。

性质

1. 惩罚机制：当真实标签为 1 时，若预测概率接近 0，损失会趋向于无穷大；反之，当预测概率接近 1 时，损失趋向于 0。这种特性使得模型在训练过程中能够迅速调整，以减少错误预测的影响。
2. 对称性：对于标签为 0 的情况，损失函数同样表现出相似的特性，使得无论是正类还是负类，模型都能有效学习到正确的决策边界。
3. 信息论基础：二元交叉熵源自信息论，用于衡量两个概率分布之间的差异。它能有效评估模型输出与真实分布之间的不一致程度，从而促进模型更快收敛至最优解。
4. 处理不平衡数据：在类别不平衡的情况下，二元交叉熵能够给予少数类更大的惩罚，从而促使模型更加关注这些类别，提高其泛化能力。

DPO 中使用二元交叉熵的原因

在直接偏好优化（DPO）中，使用二元交叉熵作为损失函数有以下几个原因：

1. 简化训练过程：DPO 避免了传统强化学习中复杂的奖励模型训练，而是直接利用人类偏好数据进行优化。二元交叉熵提供了一种简单且有效的方法来量化模型生成输出与人类偏好之间的一致性。
2. 高效收敛：由于二元交叉熵能够快速反映模型预测与真实标签之间的差距，它在训练过程中能够加速收敛，使得模型更快适应人类偏好。
3. 避免过拟合：通过正则化和反向 KL 散度，DPO 可以更好地控制生成策略的多样性，同时使用二元交叉熵确保模型在学习过程中不会过拟合某一特定模式，从而提高其泛化能力。
4. 直观理解：使用二元交叉熵作为损失函数，使得优化目标更加直观易懂，有助于研究人员和工程师理解模型学习过程中的动态变化，便于调试和改进。

综上所述，二元交叉熵因其良好的性质和在 DPO 中的适用性，成为了优化语言模型的一种理想选择。