大语言模型逻辑一致性研究：测量、评估与提升

这三类任务的主观性程度不同，刚好可以从多个角度观察模型在逻辑一致性上的表现。

指标与可靠性

作者一方面计算每个任务上的一致性指标，另一方面也看模型判断和人类标注之间的成对判断准确率，用来衡量模型与人类偏好的贴合程度。为了进一步评估可靠性，还引入了基于蒙特卡洛采样的思维链输出，并统计自一致性，也就是多次采样里有多少输出能和多数判断保持一致。

实验结果

实验里有几个值得注意的结论。

一是，近期一些模型在整体一致性上表现不错，比如 Gemma2-9B 和 Phi-3-medium，但它们并不是所有维度都强。Mistral-7B 在传递性上很亮眼，可放到交换性或否定不变性里，优势就没那么明显。换句话说，一致性不是单一分数能概括的，它更像一组彼此相关但不完全重合的能力。

二是，逻辑一致性和人类一致性准确率之间并没有特别强的线性关系。这个结论挺重要，因为它说明'和人类答案像不像'不等于'内部逻辑稳不稳'。

三是，思维链提示并不总能帮忙。很多人默认 CoT 会提升推理质量，但在这里它有时反而会让传递性变差。作者的解释也比较合理：CoT 可能在推理过程中引入了额外波动，让模型在不同比较里使用了不完全相同的标准。

一致性和可靠性的关系

论文进一步分析了逻辑一致性与模型可靠性的联系。

传递性和自我一致性之间有明显相关性。这个结果很好理解：如果模型自己多次采样都能保持稳定，那它在多项比较中更有可能给出连贯的排序。

交换性则和人类偏好关系更紧。交换性差的模型，往往会表现出更强的位置偏差，也更容易在实际应用里偏离人类判断。

提升逻辑一致性：从数据入手

论文后半部分提出了一个更实用的思路：与其只盯着模型结构，不如先把训练数据处理干净。现实中的偏好标注本来就会有噪声、冲突甚至自相矛盾，如果直接拿来训，模型学到的也会是摇摆不定的判断规则。

受 RLHF 思路启发，作者设计了一个数据精炼与增强框架。核心做法是先从嘈杂的成对比较中估计一个更一致的全局排名，再基于这个排名构造自洽的成对比较，必要时还可以加入否定关系的样本，把数据覆盖面扩展开。

基于胜率估计排名

这里用到的是一种很直接的胜率方法：统计每个项目在成对比较中的胜负情况，再根据胜率排序。它的优点在于简单、稳定，而且对稀疏比较很友好，不需要每个项目都和所有对象比一遍。

一旦有了较一致的排名，就能把它转成更干净的成对比较集。这个过程看起来朴素，但在噪声偏多的偏好数据里，往往比盲目堆数据更有效。

实验验证

作者在 Summarize From Feedback 数据集上做了验证，并人为翻转了 10% 的训练标签，模拟真实世界里常见的噪声情况。随后，他们分别在扰动数据、精炼后数据、增强后数据，以及加入否定关系比较的数据上训练了三个 Meta-Llama-3-8B-Instruct 模型。

结果比较清楚：

• 直接用零样本推理，逻辑不一致性比较明显。
• 在扰动数据上训练后，模型和人类偏好对齐得更好，一致性也上来了。
• 再进一步做精炼和增强，传递性和交换性都有提升，而且没有明显牺牲人类对齐。
• 只针对否定关系训练，可以改善否定不变性，但如果一味往里加否定样本，也可能让其他属性受到干扰。

逻辑一致性对下游应用的影响

论文还把逻辑一致性放到一个具体应用里看：偏好排名算法 PairS。

PairS 本质上是一个基于成对比较的排序聚合方法，它依赖大语言模型来判断对象之间的偏好关系，再把这些判断组合成最终排名。这里有个前提很关键：如果模型在传递性和交换性上不稳定，最终的排名就会跟着漂。

实验结果也印证了这一点。某些模型即使在人类判断准确率上略弱一些，只要逻辑一致性更强，排名效果反而会更好。特别是传递性强的模型，在排序任务里更占优势；交换性好的模型，则在校准时需要的额外计算也更少。

小结

这项研究把一个常被忽视的问题讲得很透：大语言模型的能力不只取决于'会不会答'，还取决于'答得是否自洽'。

论文通过传递性、交换性和否定不变性这三个维度，给逻辑一致性建立了一个可测量、可比较的框架；又通过数据精炼与增强，证明了这种一致性是可以被改善的。更重要的是，它提醒我们，评估 LLMs 不能只看准确率或偏好拟合，逻辑稳定性本身就是可靠性的核心组成部分。