【论文阅读12】Circle Loss：一统 Softmax 与 Triplet，从“线性”到“圆形”的优化视角

优质文章学习记录

— 10 min read
论文题目：《Circle Loss: A Unified Perspective of Pair Similarity Optimization》

目录

前言：两大门派的恩怨

派系一：基于分类的学习 (Classification-based)

派系二：基于度量的学习 (Metric Learning / Pairwise Learning)

为什么要提这个？（Circle Loss 的动机）

1. 万物归一 —— 统一视角 ()

1.1 统一 Loss 公式

1.2 计算量的“降维打击”

2. 证明 Softmax 和 Triplet 都是“特例”

2.1 退化为 Softmax ()

2.2 退化为 Triplet ()

3. 发现缺陷 —— 拒绝“死板”的优化

3.1 什么是“不够灵活”？

3.2 引入动态权重 ()

3.3 Circle Loss 最终形态

4. 几何解释 —— 为什么叫“Circle”？

4.1 决策边界的演变

4.2 圆形的意义

5. 梯度验证 —— 数学上的实锤

前言：两大门派的恩怨

派系一：基于分类的学习 (Classification-based)

  • 代表：Softmax, SphereFace, CosFace, ArcFace。
  • 原文描述：“优化样本和权重向量之间的相似性” (optimize the similarity between samples and weight vectors)。
  • 通俗解释（找老师）：

公式特征：

$x \cdot W$

。

训练目标：学生（样本

$x$

）必须尽可能靠近自己的班主任（ 

$W_{y_i}$

 ），远离别人的班主任。

逻辑：模型预先设立了 10,000 个“教室”（类别），每个教室有一个“班主任”（ 

$W$

 ）。

权重

$W$

：被看作是类中心（Class Center）或者代理（Proxy）。

派系二：基于度量的学习 (Metric Learning / Pairwise Learning)

  • 代表：Triplet Loss, Contrastive Loss。
  • 原文描述：“优化样本之间的相似性” (optimize the similarity between samples)。
  • 通俗解释（找朋友）：
    • 逻辑：模型从数据堆里随便抓两个人。
    • 训练目标：如果这两个人是同一个人（Positive Pair），就拉近他们；如果是不同人（Negative Pair），就推开他们。

公式特征：

$x_1 \cdot x_2$

。

没有

$W$

：这里没有固定的“教室”和“班主任”。

为什么要提这个？（Circle Loss 的动机）

在 Circle Loss 之前，大家觉得这是两套完全不同的逻辑：

  • 用 Softmax (ArcFace) 的人觉得 Triplet Loss 收敛太慢，采样太麻烦（组合爆炸）。
  • 用 Triplet Loss 的人觉得 Softmax 只能处理闭集（Closed-set），不灵活。

Circle Loss 的伟大之处在于它说了一句：

“别吵了，其实你们俩在数学本质上是一回事！”

Circle Loss 认为：

Triplet：其实就是把另一个样本

$x_j$

  当作临时的“中心”。

Softmax/ArcFace：其实就是把

$W$

当作一种特殊的“样本”（只有一个样本的类）。

它们的目标都是：最大化类内相似度 ( 

$s_p$

 )，最小化类间相似度 ( 

$s_n$

 )。

1. 万物归一 —— 统一视角 (

$L_{uni}$

)

        Circle Loss 的第一步贡献，是建立了一个统一的 Loss 框架。作者敏锐地发现，无论是分类还是配对，本质目标都是：最大化正样本分数

$s_p$

，最小化负样本分数

$s_n$

。

1.1 统一 Loss 公式

作者首先推导出了一个通用公式

$L_{uni}$

(Unified Loss)：

$L_{uni} = \log \left[ 1 + \sum_{i=1}^K \sum_{j=1}^L \exp(\gamma(s_n^j - s_p^i + m)) \right]$
$m$

：间隔（Margin）。

$\gamma$

：缩放因子（Scale Factor）。

$s_n^j$

：第

$j$

个负样本对的相似度。

$s_p^i$

：第

$i$

个正样本对的相似度。

这个公式的直观含义很简单：要在

$Loss$

最小化过程中，迫使

$(s_n - s_p)$

越小越好。

1.2 计算量的“降维打击”

上面的公式有一个双重求和

$\sum \sum$

，这意味着要计算所有正负样本的配对，计算量是

$O(K \times L)$

。

利用指数运算法则

$e^{a-b} = e^a \cdot e^{-b}$

，作者做了一个精彩的数学变换：

$L_{uni} = \log \left[ 1 + \underbrace{\sum_{j=1}^L \exp(\gamma(s_n^j + m))}_{\text{}} \cdot \underbrace{\sum_{i=1}^K \exp(\gamma(-s_p^i))}_{\text{}} \right]$

                                   负样本集合                 正样本集合

这一步变换至关重要。它将复杂的 “成对比较” 解耦成了独立的  “正样本组”  和  “负样本组” 计算。这解释了为什么 Circle Loss 能够像 Softmax 一样高效训练，而不需要像 Triplet Loss 那样进行繁重的样本挖掘。

2. 证明 Softmax 和 Triplet 都是“特例”

为了证明

$L_{uni}$

是真正的大一统，我们看看它是如何退化成我们熟悉的 Loss 的。

2.1 退化为 Softmax (

$L_{am}$

)

如果我们设定只有一个正样本（

$K=1$

，即当前样本

$x$

和它的类中心

$W$

），忽略常数 1，公式就变成了：

$L_{am} = - \log \frac{\exp(\gamma(s_p - m))}{\exp(\gamma(s_p - m)) + \sum_{j=1}^{N-1} \exp(\gamma s_n^j)}$

解读： 这正是我们熟悉的 CosFace / AM-Softmax！

这意味着：分类 Loss 只是 Circle Loss 在

$K=1$

时的特例。

2.2 退化为 Triplet (

$L_{tri}$

)

如果我们把

$\gamma$

设为无穷大（

$\gamma \to +\infty$

），根据 LogSumExp 的极限性质，公式变成了：

$L_{tri} = \lim_{\gamma \to +\infty} \frac{1}{\gamma} L_{uni} = \max [ s_n^j - s_p^i ]_+$

解读： 这正是 Triplet Loss 的核心逻辑（Hard Mining）！

这意味着：Triplet Loss 只是 Circle Loss 在

$\gamma$

趋于无穷大时的极限情况。

3. 发现缺陷 —— 拒绝“死板”的优化

既然统一了江湖，为什么还需要 Circle Loss？

因为作者发现，之前的 CosFace/ArcFace 存在一个致命的“不够灵活”的问题。

3.1 什么是“不够灵活”？

在

$L_{uni}$

中，我们是在优化

$(s_n - s_p)$

。当我们对它求导时，梯度是常数（或者说是 1）。

这意味着什么？

  • 困难样本（分错了）：模型用 1 的力度去推它。
  • 简单样本（分对了）：模型依然用 1 的力度去推它。

这就好比老师辅导学生，对考 30 分的学生和考 99 分的学生布置一样的作业。这显然浪费了算力，且效率低下。

3.2 引入动态权重 (

$L_{circle}$

)

为了让模型懂得“因材施教”，作者引入了动态权重

$\alpha$

：

$L_{circle} = \log \left[ 1 + \sum_{j=1}^L \exp(\gamma \alpha_n^j s_n^j) \cdot \sum_{i=1}^K \exp(-\gamma \alpha_p^i s_p^i) \right]$

其中，权重

$\alpha$

的定义是“自我配速”（Self-paced）：

$\alpha_p^i = [O_p - s_p^i]_+, \quad \alpha_n^j = [s_n^j - O_n]_+$
  • 机制详解：

如果样本简单（

$s_p$

接近目标

$O_p$

），

$\alpha_p$

 变小

$\rightarrow$

几乎不练。

如果样本很难（

$s_p$

远小于目标

$O_p$

），

$\alpha_p$

变大

$\rightarrow$

加权猛练！

3.3 Circle Loss 最终形态

将动态权重

$\alpha$

和 Margin 结合，我们就得到了最终公式：

$L_{circle} = \log \left[ 1 + \sum_{j=1}^L \exp(\gamma \alpha_n (s_n - \Delta_n)) \cdot \sum_{i=1}^K \exp(-\gamma \alpha_p (s_p - \Delta_p)) \right]$

4. 几何解释 —— 为什么叫“Circle”？

这是论文最精彩的几何视角。

4.1 决策边界的演变

Circle Loss: 由于引入了与

$s$

相关的权重 

$\alpha$

，优化项变成了关于

$s$

的二次项 (

$s^2$

)。其决策边界方程演变为：

Softmax/CosFace: 优化目标是

$s_p - s_n = m$

。在坐标系中，这是一条直线。

$(s_n - \frac{O_n + \Delta_n}{2})^2 + (s_p - \frac{O_p + \Delta_p}{2})^2 = C$

在特定参数下，它简化为：

$(s_n - 0)^2 + (s_p - 1)^2 = 2m^2$

4.2 圆形的意义

从直线变成圆弧，不仅仅是好看。

这意味着模型在优化

$s_p$

和

$s_n$

时，不再是僵硬的 1:1 兑换，而是根据它们各自离“完美状态”

$(0, 1)$

的距离来动态调整梯度方向。这就赋予了 Loss 更大的灵活性。

5. 梯度验证 —— 数学上的实锤

最后，为了证明“动态权重”真的有效，作者直接给出了梯度公式：

$\frac{\partial L}{\partial s_n} \propto \alpha_n = (s_n - O_n)$
$\frac{\partial L}{\partial s_p} \propto \alpha_p = (O_p - s_p)$

一句话总结：梯度的强弱，正比于样本的难度。

这彻底解决了传统 Loss 在简单样本上浪费梯度的问题，让模型能够全神贯注地攻克那些“死活分不开”的 Hard Cases。

Read more

AI开发之Cursor的下载安装以及Unity-MCP下载安装到你的个人Unity项目中（一）

AI开发之Cursor的下载安装以及Unity-MCP下载安装到你的个人Unity项目中（一）

序言：你想不想做出属于自己的游戏，但是自己的技术能力不行，或者是你想节省时间，想让游戏快速上线，又或者是你不想自己写代码以及操作游戏引擎中的各种游戏资源，接下来的教程就可以满足你的这些需求，让AI自动化开发，你只需要提出需求，让AI自动生成代码以及自动操控Unity游戏引擎中的各种游戏资源，让你在AI时代快速地做出来属于自己的游戏。 一、Cursor的下载安装。 1、进入这个Cursor官网进行下载。 2、安装，按照弹出来的界面不断的点击下一步就行。 3、安装好之后，电脑桌面出现了这个图标就说明你安装成功了。 4、双击这个Cursor图标，打开Cursor编辑器主界面。 二、下载Cursor AI平台提示词并且快速设置 打开这个链接Cursor规则中心下载对应的文件到你的Unity项目中，下载保存到跟Assets目录平级就行，下载保存成功之后，你就能在你的Unity项目资源管理器中看到.cursor这个文件夹，这个文件夹可以加入我们对AI生成代码的一种规则说明，作用是限制AI最后生成的代码，也可以说是一种生成代码规范限制吧。 三、Unity MCP的下载以及安装。

前端缓存策略：让你的网站飞起来

前端缓存策略：让你的网站飞起来 毒舌时刻 前端缓存？这不是浏览器的事吗？ "我不需要管缓存，浏览器会自动处理"——结果网站加载慢，用户体验差， "缓存就是localStorage嘛，多简单"——结果缓存管理混乱，内存占用高， "我直接禁用缓存，省得麻烦"——结果每次都重新加载，浪费带宽。 醒醒吧，前端缓存不是简单的localStorage，而是一套完整的策略！ 为什么你需要这个？ * 性能提升：减少重复请求，加快页面加载速度 * 用户体验：离线访问，减少等待时间 * 带宽节省：减少服务器流量，降低成本 * 可靠性：网络不稳定时仍能正常访问 反面教材 // 反面教材：滥用localStorage function fetchData() { // 每次都从API获取数据 return fetch('https://api.example.
Flutter for OpenHarmony: Flutter 三方库 flutter_cors 应对鸿蒙 Web 与混合开发中的跨域挑战（网络兼容方案）

Flutter for OpenHarmony: Flutter 三方库 flutter_cors 应对鸿蒙 Web 与混合开发中的跨域挑战（网络兼容方案）

欢迎加入开源鸿蒙跨平台社区：https://openharmonycrossplatform.ZEEKLOG.net 前言 在进行 OpenHarmony 的跨平台开发时，我们不仅开发原生 HAP，有时也会涉及 Flutter Web 或是在鸿蒙端侧运行 Webview 混合应用。这时，一个经典的“拦路虎”就会出现：CORS (跨源资源共享) 限制。当你的 Web 端尝试访问一个未配置跨域头部的后端 API 时，请求会被浏览器拦截，报错信息极其晦涩。 虽然 CORS 主要是后端的工作，但 flutter_cors 提供了一种客户端视角的辅助工具。它通过工具化手段帮助开发者分析、绕过或生成跨域适配规则，是保证鸿蒙跨平台 Web 项目顺利运行的调试利器。 一、跨域访问逻辑模型 CORS 是一种浏览器的安全保护机制，它在请求发出前先进行“预检（Preflight）

Docker镜像源中科大配置教程助力GLM-4.6V-Flash-WEB国内部署

Docker镜像源中科大配置助力GLM-4.6V-Flash-WEB国内部署 在当前多模态AI技术快速落地的背景下，越来越多开发者希望将前沿视觉语言模型部署到本地或私有云环境中。然而，一个看似简单却常被忽视的问题——Docker镜像拉取慢，往往成为项目启动的第一道“拦路虎”。尤其是当目标模型来自海外镜像仓库时，动辄数GB的镜像文件可能需要数小时才能下载完成，甚至中途失败。 以智谱AI推出的 GLM-4.6V-Flash-WEB 为例，这款专为Web端高并发、低延迟设计的中文多模态模型，凭借其出色的推理速度和轻量化特性，正迅速成为国内开发者构建图文理解系统的首选。但它的Docker镜像体积较大（通常包含CUDA、PyTorch及完整权重），若不借助加速手段，在国内直接拉取几乎不可行。 幸运的是，我们并非无计可施。中国科学技术大学开源镜像站提供的 Docker Registry代理服务，正是破解这一难题的利器。通过合理配置，原本需要几个小时的镜像拉取过程，可以缩短至几分钟内完成，真正实现“分钟级”环境搭建。 为什么是GLM-4.6V-Flash-WEB？ 不同于传统视觉语言模型（