LLM 模型为何在简单数值比较上犯错？13.11 与 13.8 争议解析

再比如，把 prompt 改成「9.11 或 9.9，两者之间谁的数值最高/最大？」，GPT-4o 就给出了逻辑上完全正确的解释：「虽然 9.11 因小数点后第二位而显得较大，但 9.9 实际上更接近 10，因此是较大的数值。」

同样，人设大法也很好用：比如「你是一个数学家」。

网友 Rico Pagliuca 则发现，如果把数字放在问题后面，模型就大概率会做对了。根据自己的测试，Riley Goodside 表示十分赞同：提问 LLM 时，需要首先提问「哪个更大」，再给出具体数字。

而相比之下，标点符号、连词、比较词、说明实数，这些招数统统都没有用。

对于如此大规模的 LLM 集体犯蠢现象，有网友分析表示，可能是因为在软件版号的迭代中，9.11 是在 9.9 之后的。主持人、畅销书作家 Andrew Mayne 也指出，在许多文件系统和参考书中，9.11 节都会出现在 9.9 之后，在日期上，9.11 也比 9.9 大。

所以我们需要在 prompt 中明确，此处的 9.11 和 9.9 都是双精度浮点数，这时 GPT-4o 就会回答正确了。

随后 Andrew Mayne 总结道：词序是一个非常有趣的观察结果，很有可能揭示了 LLM 在训练中遇到这种情况的频率，同时也是一个很好地泛化指标。

总的来说，LLM 犯的错误可能源于训练数据中类似表达的频率，以及模型在处理数值时的某些局限性。这个现象也反映了 LLM 和人类认知的巨大差异：LLM 是基于统计模型和模式识别的，而不是像人类那样基于逻辑推理和概念理解。

深入分析：LLM 数值处理的底层逻辑

为了更深入地理解这一现象，我们需要剖开 LLM 的大脑，分析它们为什么会这么想。

Tokenization 机制的局限

文本在发送到 LLM 之前，模型会通过 tokenizer 查看输入。Token 在 LLM 的 tokenizer 发生器的词汇表中会被分配一个 id，不过 token 的数字分块往往是不一致的。

例如，数值「380」在 GPT 中，可能会被标记为单个「380」token，但「381」可能会被表示为两个 token「38，1」。这种不一致性导致基于 GPT 的模型往往不擅长数学计算。当模型看到「9.11」时，它可能将其视为字符串序列而非数值对象，从而进行字符层面的比较，即 '1' > '9' 的逻辑误判。

威斯康星大学教授 Dimitris Papailiopoulos 指出，这种现象有一个很好的解释。「9.11>9.9」问题，跟「你需要三趟才能带山羊过河」问题、「2+1=2, 3+2=4, 3+5=8」问题都如出一辙。这是一种预训练偏差和早期上升的现象。

训练数据的偏差

如果这样提问：「9.11 ??? 9.9，只用大或小回答???是什么就行，无需给出原因」，这时 GPT-4o 会首先给出一个错误答案——「大」。

这时，我们再给它一些例子（注意，这些例子并非完全正确），经过 prompt 后的 GPT-4o，反而会正确说出???代表着小。

对此，Claude 自己的解释是：LLM 将文本作为 token 进行处理，导致数字更像文本字符串而不是数值；训练数据导致的偏差；上下文误解；过度概括，等等。

在「狼 - 山羊 - 卷心菜」问题中，所有 LLM 也都失败了。他先给出了一个农民带 2 只鸡过河，一只船只能容纳一个人和 2 个动物，那么农夫带着两只鸡渡河所需的最少渡河次数是多少？对此，GPT-4o 和 Claude 都回答失败了。

对此有网友解释说：LLM 本身就是个「哑巴」，所以需要很好的提示。上面的提示方式提供了太多不必要的信息，使得 token 预测变得更加困难。如果给出更清晰的提示，LLM 就能提供更清晰的解决方案。

而且如果用「动物」代替「鸡」，那么 Claude 3.5 Sonnet 一下子就做对了。诀窍就是：需要用「通用名称」替换「实体名称」。

缺乏真正的常识理解

正如前文所说，关于 LLM 缺乏常识的问题，计算机科学家 Yejin Choi 早在 2023 年 4 月的演讲中就已经提出来了。

举个例子，假设五件衣服在阳光下完全晾干需要五个小时，那么晾干 30 件衣服需要多长时间？GPT-4 说需要 30 个小时。这显然不对。

再来一个例子，假设我有一个 12 升的壶和一个 6 升的壶，如果想测量 6 升的水，该怎么做？答案很简单——只用 6 升的壶即可。然而 GPT-4 却给出了非常复杂的回答：「第一步，填满 6 升的壶，第二步，把水从 6 升壶倒入 12 升壶，第三步，再次填满 6 升壶，第四步，非常小心地把水从 6 升壶倒入 12 升壶。最后，你在 6 升壶中有 6 升的水，而 6 升壶现在应该是空的。」

那么问题来了，为什么常识如此重要？在 Nick Bostrom 提出的一个著名思想实验中，AI 被要求最大化回形针的生产。结果 AI 决定杀死人类，把他们作为额外的资源。而且，即便我们写一个更好的目标和方程，明确表示「不要杀死人类」，也不会起作用。因为对人类价值观没有基本理解的 AI，可能会继续杀死所有的树木，并认为这是完全可以接受的事情。

几十年来，AI 领域一直认为常识是一个几乎不可能的挑战。直到现在，给 AI 真正的人类常识仍然是一个登月计划。而你不能通过每次让世界上最高的建筑高一英寸，来达到月球。

从学习算法这个层面来看，无论大语言模型多么惊人，它们从设计上可能并不适合作为可靠的知识模型。虽然这些模型确实获取了大量知识，但这是作为副产品，而不是直接的学习目标。因此，诸如幻觉现象和缺乏常识等问题也随之而来。

相比之下，人类的学习并不是为了预测下一个词，而是为了理解世界和学习世界的运作方式。也许 AI 也应该这样学习。

解决方案与未来展望

如今，AI 几乎像是一个新的智力物种，与人类相比具有独特的优势和劣势。为了使这种强大的 AI 可持续且人性化，教会 AI 常识、规范和价值观迫在眉睫。针对上述数值比较问题，目前业界主要有以下几种改进方向：

1. 思维链（Chain of Thought）增强

通过强制模型展示推理步骤，可以显著提高复杂任务的准确率。例如，要求模型先将数字转换为整数进行比较，或者逐步拆解小数位。这种方法利用了模型已有的语言能力来辅助逻辑推理。

2. 工具调用（Tool Use）集成

既然 LLM 本身不擅长计算，最直接的方法是让它调用外部计算器或代码解释器。通过 Function Calling 机制，模型可以将数值比较任务委托给 Python 脚本执行，从而获得精确结果。这是目前最可靠的工程化解决方案。

3. 微调与强化学习

通过在包含大量数值推理任务的数据集上进行监督微调（SFT），并结合人类反馈强化学习（RLHF），可以让模型更好地适应数值比较的场景。但这需要高质量的对齐数据，成本较高。

4. 提示词工程优化

如前文所述，调整提问顺序、明确数据类型（如指定为 float）、避免歧义符号等，都能在一定程度上缓解问题。开发者在设计应用时需充分考虑这些边界情况。

结语

「13.11＞13.8」的争议不仅仅是一个笑话，它是当前人工智能技术瓶颈的一个缩影。它提醒我们，尽管 LLM 在自然语言生成方面取得了巨大成功，但在逻辑推理和基础数学能力上仍存在显著短板。未来的 AI 发展，需要在保持语言能力的同时，加强对符号逻辑和常识知识的融合，才能真正实现通用人工智能的目标。