Circle Loss：统一 Softmax 与 Triplet 的圆形优化视角

$$ L_{am} = - \log \frac{\exp(\gamma(s_p - m))}{\exp(\gamma(s_p - m)) + \sum_{j=1}^{N-1} \exp(\gamma s_n^j)} $$

这正是我们熟悉的 CosFace / AM-Softmax。这意味着：分类 Loss 只是 Circle Loss 在 $K=1$ 时的特例。

退化为 Triplet

如果我们把 $\gamma$ 设为无穷大（$\gamma \to +\infty$），根据 LogSumExp 的极限性质，公式变成了：

$$ L_{tri} = \lim_{\gamma \to +\infty} \frac{1}{\gamma} L_{uni} = \max [ s_n^j - s_p^i ]_+ $$

这正是 Triplet Loss 的核心逻辑（Hard Mining）。这意味着：Triplet Loss 只是 Circle Loss 在 $\gamma$ 趋于无穷大时的极限情况。

3. 发现缺陷 —— 拒绝'死板'的优化

既然已经统一了江湖，为什么还需要 Circle Loss？因为作者发现，之前的 CosFace/ArcFace 存在一个致命的'不够灵活'的问题。

什么是'不够灵活'？

在 $L_{uni}$ 中，我们是在优化 $(s_n - s_p)$。当我们对它求导时，梯度是常数（或者说是 1）。

这意味着什么？

• 困难样本（分错了）：模型用 1 的力度去推它。
• 简单样本（分对了）：模型依然用 1 的力度去推它。

这就好比老师辅导学生，对考 30 分的学生和考 99 分的学生布置一样的作业。这显然浪费了算力，且效率低下。

引入动态权重

为了让模型懂得'因材施教'，作者引入了动态权重 $\alpha$：

$$ L_{circle} = \log \left[ 1 + \sum_{j=1}^L \exp(\gamma \alpha_n^j s_n^j) \cdot \sum_{i=1}^K \exp(-\gamma \alpha_p^i s_p^i) \right] $$

其中，权重 $\alpha$ 的定义是'自我配速'（Self-paced）：

$$ \alpha_p^i = [O_p - s_p^i]+, \quad \alpha_n^j = [s_n^j - O_n]+ $$

• 机制详解：
  • 如果样本简单（$s_p$ 接近目标 $O_p$），$\alpha_p$ 变小 → 几乎不练。
  • 如果样本很难（$s_p$ 远小于目标 $O_p$），$\alpha_p$ 变大 → 加权猛练！

Circle Loss 最终形态

将动态权重 $\alpha$ 和 Margin 结合，我们就得到了最终公式：

$$ L_{circle} = \log \left[ 1 + \sum_{j=1}^L \exp(\gamma \alpha_n (s_n - \Delta_n)) \cdot \sum_{i=1}^K \exp(-\gamma \alpha_p (s_p - \Delta_p)) \right] $$

4. 几何解释 —— 为什么叫'Circle'？

这是论文最精彩的几何视角。

决策边界的演变

Softmax/CosFace: 优化目标是 $s_p - s_n = m$。在坐标系中，这是一条直线。

Circle Loss: 由于引入了与 $s$ 相关的权重 $\alpha$，优化项变成了关于 $s$ 的二次项 ($s^2$)。其决策边界方程演变为：

$$ (s_n - \frac{O_n + \Delta_n}{2})^2 + (s_p - \frac{O_p + \Delta_p}{2})^2 = C $$

在特定参数下，它简化为：

$$ (s_n - 0)^2 + (s_p - 1)^2 = 2m^2 $$

圆形的意义

从直线变成圆弧，不仅仅是好看。这意味着模型在优化 $s_p$ 和 $s_n$ 时，不再是僵硬的 1:1 兑换，而是根据它们各自离'完美状态'$(0, 1)$ 的距离来动态调整梯度方向。这就赋予了 Loss 更大的灵活性。

5. 梯度验证 —— 数学上的实锤

最后，为了证明'动态权重'真的有效，作者直接给出了梯度公式：

$$ \frac{\partial L}{\partial s_n} \propto \alpha_n = (s_n - O_n) $$

$$ \frac{\partial L}{\partial s_p} \propto \alpha_p = (O_p - s_p) $$

一句话总结：梯度的强弱，正比于样本的难度。

这彻底解决了传统 Loss 在简单样本上浪费梯度的问题，让模型能够全神贯注地攻克那些'死活分不开'的 Hard Cases。