编程语言AI算法
Diff-eRank：基于有效秩的大模型去噪能力评估新指标
Diff-eRank 是一种基于模型表征有效秩的新评估指标，用于量化大语言模型在训练过程中剔除冗余信息的能力。该指标通过分析训练前后模型隐藏层表征的秩变化来衡量“去噪”效果，不依赖输出结果。研究团队将其应用于 OPT、Cerebras-GPT 等模型，发现其与准确率趋势一致。此外，该指标可扩展至多模态模型，通过比较视觉与文本表征的有效秩匹配程度来评估模态对齐性能，为理解大模型内部机制及模型压缩提供了新视角。
Diff-eRank 是一种基于模型表征有效秩的新评估指标，用于量化大语言模型在训练过程中剔除冗余信息的能力。该指标通过分析训练前后模型隐藏层表征的秩变化来衡量“去噪”效果，不依赖输出结果。研究团队将其应用于 OPT、Cerebras-GPT 等模型，发现其与准确率趋势一致。此外，该指标可扩展至多模态模型，通过比较视觉与文本表征的有效秩匹配程度来评估模态对齐性能，为理解大模型内部机制及模型压缩提供了新视角。
自从 GPT、PaLM、Llama 等预训练大语言模型在各种自然语言处理任务上表现出优秀的性能以来，大语言模型的发展十分迅速，并已经从单模态大语言模型扩展到了多模态大模型，例如 MiniGPT-4、LLaVA 等都在各种应用场景中取得了相当惊艳的效果。
如何全面、科学地评估这些模型的性能成为了研究者们面临的一个重要挑战。传统的评估方法多集中于模型在下游任务上的表现，例如准确率 (Accuracy)、交叉熵损失 (Cross-Entropy Loss) 等指标。但这些方法只关注模型的预测结果与标注标签之间的比较，无法深入探究模型内部的信息处理过程。
此外，对于多模态大语言模型，现有的评估指标无法给出诸如模态之间的对齐程度等更加重要维度上的评价。因此，现阶段对于纯语言大模型和多模态大模型的评估方法仍然存在较大的局限性，需要更加多元化、精细化的评价方法。
为了解决这些挑战，来自上海交通大学和清华大学等科研团队的研究者提出了一种全新的大模型评估指标 Diff-eRank。这是一种基于模型表征的「有效秩」的评估指标，从信息论和几何学的角度分析并量化大语言模型在训练前后如何剔除冗余信息，并以此衡量模型性能。
与传统的评估指标（如交叉熵损失和测试集准确率）不同，Diff-eRank 并不依赖于模型的输出结果，而是通过分析模型的隐藏表征来评估模型的性能。对于多模态大模型，研究团队也设计了基于有效秩的评估方法，通过比较不同模态表征之间的有效秩匹配程度来评估模态对齐性能，证实了主流多模态大模型具有出色的对齐能力。
本工作已被 NeurIPS 2024 (机器学习三大顶会之一，CCF-A 类) 会议接收。论文共同第一作者为上海交通大学 MIFA 实验室的博士生魏来和清华大学的博士生谭智泉，通讯作者为上海交通大学 MIFA 实验室的黄维然副教授，共同作者包括来自 William and Mary 的王晋东助理教授。
在介绍 Diff-eRank 之前，我们不妨先思考一个问题：一个语言模型是如何从海量的训练数据中「学习」到知识的？
Ilya Sutskever 在 2023 年的演讲中提到：大语言模型海量数据中训练时，会逐步消除其表征空间中的冗余信息，使得数据的表征变得更加规整、结构化。这个过程类似于「去噪」，即模型逐渐剔除数据中的无用信息，同时提取出更重要的模式和特征。然而，之前并没有研究提出可靠的指标来定义和量化这个「去噪」过程。
在此背景下，研究团队引入了有效秩的概念（Effective Rank，后面简写为 eRank），用于反应大模型表征空间的不确定性或混乱程度。大模型在训练时去除数据中的冗余信息，eRank 减小，模型的表征变得更加结构化和紧凑。
因此，研究团队提出了 Diff-eRank，通过分析大语言模型的表征的有效秩在训练前后的变化幅度，来评估大模型的「去噪能力」。Diff-eRank 提供了一个基于模型表征的全新评估方法，并且具有良好的理论基础与可解释性，为理解大模型的工作原理提供了独特的视角。
具体而言，大模型在处理一系列输入时，它会为每个 token 生成一个高维表征；这些表征通常可以捕捉输入的语义和句法信息。因此，研究团队考虑分析这些表征来评估大模型的性能。
具体而言，团队选择从几何和信息论的角度研究这些表征的秩。秩可以衡量它们这些表征的线性相关程度，对应于表征空间的有效维度（即几何结构）。此外，秩还与这些表征所包含的信息量有关：较低的秩代表信息已被结构化或压缩。因此，作者通过分析大模型表征的秩来进行模型评估。
给定一个句子中 tokens 的表集体 $X$，协方差矩阵 $\Sigma$ 构建如下：
$$ \Sigma = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)(x_i - \mu)^T $$
其中 $\mu$ 是表征的均值。
由于秩对异常值非常敏感，因此研究团队使用秩的一种连续形式，称为有效秩 (eRank)。给定任何非零矩阵 $M$，其有效秩定义为：
$$ \text{eRank}(M) = \exp(H(p)) $$
其中 $p_i = \sigma_i / \sum_j \sigma_j$，$\sigma_i$ 是矩阵 $M$ 的奇异值。
值得注意的是，eRank 与信息论中的熵的概念有着紧密的联系。上面构造的协方差实际上就是一个标准的「概率密度矩阵」。这里面的有效秩可以从信息论的角度理解为表征空间中的不确定性（具体解释详见原论文）。
给定一个句子 $S$，一个未训练的语言模型 $M_0$ 和一个训练完毕的语言模型 $M_T$，我们可以得到这两个模型的表征 $X_0$ 和 $X_T$。对于句子 $S$，这两个模型之间的有效秩差异 (Diff-eRank) 定义如下：
$$ \text{Diff-eRank}(S) = | \text{eRank}(\Sigma_T) - \text{eRank}(\Sigma_0) | $$
其中 $\Sigma_T$ 是模型 $M_T$ 在句子 $S$ 上的表征的协方差矩阵。
进一步，当给定一个数据集 $D$ 及其包含的句子集合，一个未训练的语言模型 $M_0$ 和一个训练完毕的语言模型 $M_T$ 时，数据集 $D$ 上的 Diff-eRank 可以被定义为 $M_0$ 和 $M_T$ 在所有句子上的有效秩的平均值之差。
由此我们可以看出，Diff-eRank 反映了模型表征空间的降维，也可以用于衡量大语言模型去除数据中冗余信息的程度。较高的 Diff-eRank 表明模型的内部表征更加有序和结构化，体现了模型可以有效提取数据中的模式和规律。
研究团队使用 OPT 模型家族在多个数据集上计算 Diff-eRank。由于 Loss 是最常用于观测预训练模型的指标，因此团队采用模型在训练前后交叉熵损失的减小量 (Reduced Loss) 作为对比。
通过在不同类型的数据集（如 Wikipedia、openwebtext2、dolly-15k 和 hh-rlhf）上使用 Diff-eRank 和 Reduced Loss 对 OPT 模型家族进行评估，实验结果发现 Diff-eRank 和 Reduced Loss 都随着模型规模的扩大而上升。这一趋势说明更大规模的模型在信息压缩和冗余消除方面表现得更加出色。这也体现了 Diff-eRank 可以从「去噪」角度为语言模型提供新的评估方法。
为了进一步验证 Diff-eRank 的有效性，作者在基准测试数据集上，引入准确率作为比较指标。实验结果显示，这三个指标在测试集上基本都在模型规模增加时变大。而且与 Loss 相比，Diff-eRank 与准确率的趋势更加一致，说明 Diff-eRank 可以有效地用于评估语言模型。
除了 OPT 之外，作者还用 Cerebras-GPT 和 OpenELM 家族进行实验。实验结果体现 Diff-eRank 在不同模型家族中，都随着模型规模的上升而增加，并与 Reduced Loss 和基准测试准确率趋势相关，体现了 Diff-eRank 对不同模型家族的稳定性。
Diff-eRank 背后的思想还可以拓展用于多模态大模型的评估。例如，在视觉 - 语言多模态大模型中，我们可以通过借助表征的有效秩分析视觉和语言表征的匹配程度来衡量模型的模态对齐性能。
对于多模态实验，作者选择了两个最有名的开源多模态大模型：LLaVA-1.5 和 MiniGPT4-v2。这两个多模态大模型都使用了一个简单的连接器来对齐视觉编码器与大语言模型。
作者在 detail_23k 和 cc_sbu_align 这两个高质量的多模态指令数据集上进行实验。这些数据集中的每条数据都是由图像、指令和响应组成的三元组。实验中，作者将每个三元组的指令和响应拼接作为文本输入。
文章中的实验包括分析视觉编码器后图像表征的有效秩 ($r_v$)，连接器的表征的有效秩 ($r_c$)，以及大语言模型对单个图像输入 ($r_{v\to t}$)、文本输入 ($r_t$) 和图像 - 文本对输入 ($r_{vt}$) 的表征的有效秩。
为了衡量多模态大模型的「模态对齐」能力，研究团队引入了两个基于 eRank 的不同指标：
图像压缩比可以量化图像表征从视觉编码器到连接器的有效秩的减少，评估连接器在图文对齐训练中压缩和提炼视觉信息的效率。
图像 - 文本对齐指标可以评估大语言模型对图像、文本和图像 - 文本对的表征的有效秩之间的接近程度，进而反映不同模态的对齐程度。
下面的表中展示了 LLaVA-1.5 和 MiniGPT-v2 在不同数据集上均有较高的对齐分数，说明它们对齐良好。具体而言，LLaVA-1.5 在「图像 - 文本对齐」方面优于 MiniGPT-v2，表明在视觉和文本模态之间的对齐更紧密，这也与 LLaVA-1.5 在大部分测试集分数优于 MiniGPT-v2 的现象一致。
此外，研究团队还进行了额外的实验，计算了对图像进行顺时针旋转操作后的有效秩。结果表明，所有与图像相关的量在执行旋转后都会上升，这说明多模态模型能感知图像的细微语义变化，尤其是位置信息。图像旋转后，图像压缩比和图像 - 文本对齐分数均下降，表明连接器在压缩视觉信息方面效果变差，以及旋转后的图像与相应文本对齐性变差。
这些基于秩的方法使我们能够深入了解多模态模型如何对齐不同模态的数据，以及模型如何处理和整合不同形式的输入数据。
Diff-eRank 作为一种全新的评估指标，为我们提供了一个独特的理论视角去理解和分析大模型的一种工作原理。Diff-eRank 不仅有助于评估大模型的「数据去噪」能力，还可能为模型压缩（如剪枝、量化、蒸馏等）等技术的发展提供新的视角。比如，Diff-eRank 或许有助于识别模型中哪些部分可以在不显著损失信息的情况下进行压缩。我们期待未来更多的研究者可以进一步拓展 Diff-eRank 的应用。
参考资料：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online