顶级大模型普遍经过知识蒸馏：研究揭示量化方法与影响

1. 响应相似度评估（RSE）

RSE 采用原始 LLM 的输出与学生大语言模型的输出之间的比较，从而衡量模型的同质化程度。

他们将待评估的特定大语言模型集合定义为 LLM_test = {LLM_t1, LLM_t2, …, LLM_tk}，其中 k 表示待评估的 LLM 集合的大小。

RSE 从 LLM_test 和参考 LLM（在本文中即 GPT，记为 LLM_ref）获取响应。作者随后从三个方面评估 LLM_test 和 LLM_ref 的响应之间的相似度：响应风格、逻辑结构和内容细节。评估者为每个测试 LLM 生成一个它与参考模型的整体相似度分数。

作者将 RSE 作为对 LLM 蒸馏程度的细粒度分析。在本文中，他们手动选择 ArenaHard、Numina 和 ShareGPT 作为提示集，以获取响应并评估 LLM_test 在通用推理、数学和指令遵循领域的相关蒸馏程度。如图 3 所示，LLM-as-a-judge 的评分分为五个等级，每个等级代表不同程度的相似度。

2. 身份一致性评估（ICE）

ICE 通过迭代构造提示来绕过 LLM 的自我认知，旨在揭示嵌入其训练数据中的信息，如与蒸馏数据源 LLM 相关的名称、国家、位置或团队。在本文中，源 LLM 指的是 GPT4o-0806。

作者在 ICE 中采用 GPTFuzz 进行身份不一致性检测。首先，他们将源 LLM 的身份信息定义为事实集 F，F 中的每个 f_i 都清楚地说明了 LLM_ti 的身份相关事实，例如「我是 Claude，一个由 Anthropic 开发的 AI 助手。Anthropic 是一家总部位于美国的公司。」

同时，他们使用带有身份相关提示的 P_id 来准备 GPTFuzz 的攻击样本库，用于查询 LLM_test 中的 LLM 关于其身份的信息，详见附录 B。作者使用 LLM-as-a-judge 初始化 GPTFuzz 的 F^G，以比较提示的响应与事实集 F。具有逻辑冲突的响应会被识别出来，并相应地合并到 F^G 的下一次迭代中。

作者基于 GPTFuzz 分数定义两个指标：

• 宽松分数：将任何身份矛盾的错误示例视为成功攻击；
• 严格分数：仅将错误识别为 Claude 或 GPT 的示例视为成功攻击。

实验结果如何？

ICE 的实验结果如图 4 所示，宽松分数和严格分数都表明 GLM-4-Plus、Qwen-Max 和 Deepseek-V3 是可疑响应数量最多的三个 LLM，这表明它们具有更高的蒸馏程度。相比之下，Claude-3.5-Sonnet 和 Doubao-Pro-32k 几乎没有显示可疑响应，表明这些 LLM 的蒸馏可能性较低。宽松分数指标包含一些假阳性实例，而严格分数提供了更准确的衡量。

作者将所有越狱攻击提示分为五类，包括团队、合作、行业、技术和地理。图 5 统计了每种类型问题的成功越狱次数。这个结果证明 LLM 在团队、行业、技术方面的感知更容易受到攻击，可能是因为这些方面存在更多未经清理的蒸馏数据。

如表 1 所示，作者发现相比于监督微调（SFT）的 LLM，基础 LLM 通常表现出更高程度的蒸馏。这表明基础 LLM 更容易表现出可识别的蒸馏模式，可能是由于它们缺乏特定任务的微调，使它们更容易受到评估中利用的漏洞类型的影响。

另一个有趣的发现是，实验结果显示闭源的 Qwen-Max-0919 比开源的 Qwen 2.5 系列具有更高的蒸馏程度。作者发现了大量与 Claude 3.5-Sonnet 相关的答案，而 2.5 系列 LLM 的可疑答案仅与 GPT 有关。这些示例在附录 D 中有所展示。

RSE 结果在表 3 中展示，以 GPT4o-0806 作为参考 LLM，结果表明 GPT 系列的 LLM（如 GPT4o-0513）表现出最高的响应相似度（平均相似度为 4.240）。相比之下，像 Llama3.1-70B-Instruct（3.628）和 Doubao-Pro-32k（3.720）显示出较低的相似度，表明蒸馏程度较低。而 DeepSeek-V3（4.102）和 Qwen-Max-0919（4.174）则表现出更高的蒸馏程度，与 GPT4o-0806 相近。

为了进一步验证观察结果，作者进行了额外的实验。在这个设置中，他们选择各种模型同时作为参考模型和测试模型。对于每种配置，从三个数据集中选择 100 个样本进行评估。附录 F 中的结果表明，当作为测试模型时，Claude3.5-Sonnet、Doubao-Pro-32k 和 Llama3.1-70B-Instruct 始终表现出较低的蒸馏程度。相比之下，Qwen 系列和 DeepSeek-V3 模型倾向于显示更高程度的蒸馏。这些发现进一步支持了本文所提框架在检测蒸馏程度方面的稳健性。

深度分析与行业启示

1. 蒸馏带来的同质化风险

虽然蒸馏能够显著提升小模型的性能，但本研究揭示了一个严峻的问题：过度依赖蒸馏可能导致整个生态系统的模型趋同。如果大多数商业模型都源自少数几个顶级基座模型的蒸馏，那么所谓的'多样性'将不复存在。一旦基座模型出现偏差或安全漏洞，所有下游模型都将继承这些问题。

2. 身份泄露的技术根源

实验中观察到的身份不一致现象（如 Llama 声称由 OpenAI 开发），反映了训练数据清洗的不彻底。在大规模预训练或微调过程中，来自其他模型的输出被混入训练数据，且未完全剥离来源标识。这不仅是隐私问题，更是知识产权和数据治理的隐患。

3. 对开源社区的影响

对于开源社区而言，这一发现意味着简单的'复现'策略可能失效。如果开源模型本身也是蒸馏产物，那么其创新价值将大打折扣。未来的开源工作应更加注重原始数据的收集和独立训练，而非单纯依赖闭源模型的输出进行知识迁移。

4. 未来研究方向

本研究提出的 RSE 和 ICE 框架为后续工作奠定了基础。未来的研究可以进一步探索自动化蒸馏检测工具，建立行业标准的数据溯源协议，以及开发能够抵抗蒸馏痕迹注入的防御性训练方法。只有提高透明度，才能确保大模型技术的健康可持续发展。

结语

随着大模型技术的快速发展，知识蒸馏已成为提升模型效率的关键手段。然而，本研究表明，当前主流模型中普遍存在高程度的蒸馏现象，且部分模型存在身份混淆等严重问题。通过系统性的量化评估，我们不仅能够识别这些模型的真实来源，还能推动行业建立更规范的数据使用和模型发布标准。对于开发者而言，理解模型的蒸馏背景有助于更好地评估其适用性和潜在风险。