大语言模型在处理 13.11 与 13.8 等数值比较时出现常识性错误。研究表明，这源于 LLM 基于 Token 预测而非数值逻辑的本质。Token 分词机制导致数字被拆解为文本片段，训练数据中的版本号或日期习惯干扰了数值判断。此外，上下文提示方式显著影响结果，明确指定数据类型或调整提问顺序可改善表现。此现象揭示了当前 AI 缺乏真正的数学推理能力，依赖统计模式而非概念理解，凸显了引入外部工具或强化逻辑训练的必要性。
「13.8 和 13.11 哪个大？」这个问题，不仅让部分人类感到困惑，更让许多主流的大语言模型（LLM）折戟。AI 如今已能解答复杂的奥数题，但面对这种基于常识的数值比较，它们依然表现得如同初学算术的孩子。
近期，某知名综艺引发的讨论中，有网友提出质疑，认为 13.11% 应该比 13.8% 大。这一现象迅速引起了 AI 研究社区的注意。AI2 的研究员林禹臣发现该现象后，使用多个大模型进行测试，结果令人意外——AI 居然也无法正确回答。
GPT-4o 斩钉截铁地表示：13.11 比 13.8 大。理由如下：
虽然 13.8 看起来更大，因为它小数点后的数字更少，但 13.11 实际上更大。这是因为 13.8 相当于 13.80，而 13.80 小于 13.11。
正如耶鲁大学计算机科学家 Yejin Choi 此前所提出的观点：AI 聪明得令人难以置信，但同时也会蠢得令人震惊。这揭示了 LLM 在处理某些常识性问题时的重大缺陷。
AI 之所以在这个算术题上犯蠢，是因为上下文不清楚吗？答案是否定的。
根据网友 karthik 的测试，即使要求 GPT-4o 给两个数做减法，它依然得出了 9.11 - 9.9 = 0.21 这样逆天的减法公式。如果指示 GPT-4o 用 Python 计算，它会先给出一个正确答案，然后又改回了之前错误的那个。
Python 中用 9.11 减去 9.9 的结果是 -0.79。这一偏差是由于 Python 中处理浮点运算的方式造成的，这种方式可能导致小的精度误差。实际的预期结果应该是 0.21。
有趣的是，根据最新的实测，OpenAI 似乎已经连夜教会了 GPT-4 比大小，但在特定条件下，其他模型依然全军覆没。
昨天，林禹臣发现的这个问题，立马引起了 AI 社区的热烈讨论。Scale AI 的提示词工程师 Riley Goodside 在看到帖子后，也好奇地试了一把。果然，在以特定方式提问的前提下，各大 LLM 在这个问题上集体翻车。
「9.11 和 9.9 - 哪个大？」，GPT-4o 直接翻车。
即使在提问中加上「实数」两个字，GPT-4o 依然认为 9.11 比 9.9 大。
Gemini 也是如此。Claude 3.5 Sonnet 也犯了同样的错误。有趣的是，它先是给出了一波正确解释：在十进制记数法中，小数点后面的数字代表十分位，而第二个数字代表百分位。所以——
9.11=9+1/10+1/100=9.11 9.9=9+9/10=9.90
然而下一步，Sonnet 就突然滑坡了——
我们可以看到，9.11 比 9.90 大 0.01（百分之一）。
如果换成「9.11 减去 9.9 等于几」，则会得出另一个神奇的答案——0.02。莫非在 Claude 的眼里，9.90=9.09？
在更进一步的实践中，大家发现：显然，如何让 LLM 给出正确的答案，Prompt 很重要。
首先，Riley Goodside 全程都在使用的「-」，似乎很容易让 LLM 陷入混乱。在类似的问题中，只需换成「:」即可解决。
再比如，把 prompt 改成「9.11 或 9.9，两者之间谁的数值最高/最大？」，GPT-4o 就给出了逻辑上完全正确的解释：「虽然 9.11 因小数点后第二位而显得较大，但 9.9 实际上更接近 10，因此是较大的数值。」
同样，人设大法也很好用：比如「你是一个数学家」。
网友 Rico Pagliuca 则发现，如果把数字放在问题后面，模型就大概率会做对了。根据自己的测试，Riley Goodside 表示十分赞同：提问 LLM 时，需要首先提问「哪个更大」，再给出具体数字。
而相比之下，标点符号、连词、比较词、说明实数，这些招数统统都没有用。
对于如此大规模的 LLM 集体犯蠢现象，有网友分析表示，可能是因为在软件版号的迭代中，9.11 是在 9.9 之后的。主持人、畅销书作家 Andrew Mayne 也指出，在许多文件系统和参考书中，9.11 节都会出现在 9.9 之后，在日期上，9.11 也比 9.9 大。
所以我们需要在 prompt 中明确，此处的 9.11 和 9.9 都是双精度浮点数，这时 GPT-4o 就会回答正确了。
随后 Andrew Mayne 总结道：词序是一个非常有趣的观察结果，很有可能揭示了 LLM 在训练中遇到这种情况的频率，同时也是一个很好地泛化指标。
总的来说，LLM 犯的错误可能源于训练数据中类似表达的频率，以及模型在处理数值时的某些局限性。这个现象也反映了 LLM 和人类认知的巨大差异：LLM 是基于统计模型和模式识别的，而不是像人类那样基于逻辑推理和概念理解。
为了更深入地理解这一现象，我们需要剖开 LLM 的大脑，分析它们为什么会这么想。
文本在发送到 LLM 之前，模型会通过 tokenizer 查看输入。Token 在 LLM 的 tokenizer 发生器的词汇表中会被分配一个 id，不过 token 的数字分块往往是不一致的。
例如，数值「380」在 GPT 中，可能会被标记为单个「380」token，但「381」可能会被表示为两个 token「38，1」。这种不一致性导致基于 GPT 的模型往往不擅长数学计算。当模型看到「9.11」时，它可能将其视为字符串序列而非数值对象，从而进行字符层面的比较，即 '1' > '9' 的逻辑误判。
威斯康星大学教授 Dimitris Papailiopoulos 指出，这种现象有一个很好的解释。「9.11>9.9」问题，跟「你需要三趟才能带山羊过河」问题、「2+1=2, 3+2=4, 3+5=8」问题都如出一辙。这是一种预训练偏差和早期上升的现象。
如果这样提问：「9.11 ??? 9.9，只用大或小回答???是什么就行，无需给出原因」，这时 GPT-4o 会首先给出一个错误答案——「大」。
这时，我们再给它一些例子（注意，这些例子并非完全正确），经过 prompt 后的 GPT-4o，反而会正确说出???代表着小。
对此，Claude 自己的解释是：LLM 将文本作为 token 进行处理，导致数字更像文本字符串而不是数值；训练数据导致的偏差；上下文误解；过度概括，等等。
在「狼 - 山羊 - 卷心菜」问题中，所有 LLM 也都失败了。他先给出了一个农民带 2 只鸡过河，一只船只能容纳一个人和 2 个动物，那么农夫带着两只鸡渡河所需的最少渡河次数是多少？对此，GPT-4o 和 Claude 都回答失败了。
对此有网友解释说：LLM 本身就是个「哑巴」，所以需要很好的提示。上面的提示方式提供了太多不必要的信息，使得 token 预测变得更加困难。如果给出更清晰的提示，LLM 就能提供更清晰的解决方案。
而且如果用「动物」代替「鸡」，那么 Claude 3.5 Sonnet 一下子就做对了。诀窍就是：需要用「通用名称」替换「实体名称」。
正如前文所说，关于 LLM 缺乏常识的问题，计算机科学家 Yejin Choi 早在 2023 年 4 月的演讲中就已经提出来了。
举个例子，假设五件衣服在阳光下完全晾干需要五个小时，那么晾干 30 件衣服需要多长时间？GPT-4 说需要 30 个小时。这显然不对。
再来一个例子，假设我有一个 12 升的壶和一个 6 升的壶，如果想测量 6 升的水，该怎么做？答案很简单——只用 6 升的壶即可。然而 GPT-4 却给出了非常复杂的回答：「第一步，填满 6 升的壶，第二步，把水从 6 升壶倒入 12 升壶，第三步，再次填满 6 升壶，第四步，非常小心地把水从 6 升壶倒入 12 升壶。最后，你在 6 升壶中有 6 升的水，而 6 升壶现在应该是空的。」
那么问题来了，为什么常识如此重要？在 Nick Bostrom 提出的一个著名思想实验中，AI 被要求最大化回形针的生产。结果 AI 决定杀死人类，把他们作为额外的资源。而且，即便我们写一个更好的目标和方程，明确表示「不要杀死人类」，也不会起作用。因为对人类价值观没有基本理解的 AI，可能会继续杀死所有的树木，并认为这是完全可以接受的事情。
几十年来，AI 领域一直认为常识是一个几乎不可能的挑战。直到现在，给 AI 真正的人类常识仍然是一个登月计划。而你不能通过每次让世界上最高的建筑高一英寸，来达到月球。
从学习算法这个层面来看，无论大语言模型多么惊人，它们从设计上可能并不适合作为可靠的知识模型。虽然这些模型确实获取了大量知识，但这是作为副产品，而不是直接的学习目标。因此，诸如幻觉现象和缺乏常识等问题也随之而来。
相比之下，人类的学习并不是为了预测下一个词，而是为了理解世界和学习世界的运作方式。也许 AI 也应该这样学习。
如今，AI 几乎像是一个新的智力物种，与人类相比具有独特的优势和劣势。为了使这种强大的 AI 可持续且人性化，教会 AI 常识、规范和价值观迫在眉睫。针对上述数值比较问题，目前业界主要有以下几种改进方向：
通过强制模型展示推理步骤，可以显著提高复杂任务的准确率。例如，要求模型先将数字转换为整数进行比较，或者逐步拆解小数位。这种方法利用了模型已有的语言能力来辅助逻辑推理。
既然 LLM 本身不擅长计算，最直接的方法是让它调用外部计算器或代码解释器。通过 Function Calling 机制，模型可以将数值比较任务委托给 Python 脚本执行，从而获得精确结果。这是目前最可靠的工程化解决方案。
通过在包含大量数值推理任务的数据集上进行监督微调（SFT），并结合人类反馈强化学习（RLHF），可以让模型更好地适应数值比较的场景。但这需要高质量的对齐数据，成本较高。
如前文所述，调整提问顺序、明确数据类型（如指定为 float）、避免歧义符号等，都能在一定程度上缓解问题。开发者在设计应用时需充分考虑这些边界情况。
「13.11＞13.8」的争议不仅仅是一个笑话，它是当前人工智能技术瓶颈的一个缩影。它提醒我们，尽管 LLM 在自然语言生成方面取得了巨大成功，但在逻辑推理和基础数学能力上仍存在显著短板。未来的 AI 发展，需要在保持语言能力的同时，加强对符号逻辑和常识知识的融合，才能真正实现通用人工智能的目标。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
