编程语言AI算法
大语言模型存在“逆转诅咒”，反向推理准确率极低
大语言模型（LLM）在预训练数据中若仅包含“A 是 B”形式的句子，往往无法泛化推断出“B 是 A”，这种现象被称为“逆转诅咒”。研究表明，无论模型体量大小，这种排序效应均会导致反向知识检索的准确率接近零。实验显示，当测试顺序与训练数据不匹配时，GPT-3 和 Llama 等模型完全无法泛化。这揭示了自回归模型在元学习和逻辑对称性上的缺陷，提示训练数据和上下文内容对知识泛化至关重要。
大语言模型（LLM）在预训练数据中若仅包含“A 是 B”形式的句子，往往无法泛化推断出“B 是 A”，这种现象被称为“逆转诅咒”。研究表明，无论模型体量大小，这种排序效应均会导致反向知识检索的准确率接近零。实验显示，当测试顺序与训练数据不匹配时，GPT-3 和 Llama 等模型完全无法泛化。这揭示了自回归模型在元学习和逻辑对称性上的缺陷，提示训练数据和上下文内容对知识泛化至关重要。
近期，人工智能领域出现了一个名为「逆转诅咒」（Reversal Curse）的新概念，引发了广泛讨论。研究发现，当前流行的所有大语言模型（LLM），从 GPT-3、GPT-4 到 Llama 系列，在面对简单的逻辑对称性问题时，回答的正确率竟然接近于零。
这一现象表明，尽管 AI 发展到预训练大模型阶段，看似掌握了一定的逻辑思维，但在处理知识泛化时却暴露出了根本性的缺陷。研究人员发现，这个大 Bug 与模型的体量大小、提问的具体方式等都没有直接关系。无论模型参数规模如何，只要训练数据中存在特定的排序模式，模型就无法自动推断出相反方向的逻辑关系。
如果一个人知道了「奥拉夫・朔尔茨是联邦德国第九任总理」这一事实，他们就可以正确回答「谁是德国第九任总理？」这个问题。这是一种基本的泛化形式，看起来平平无奇，体现了人类对恒等关系对称性的理解。
然而研究表明，当前 AI 领域里火热的自回归语言模型无法以这种方式进行泛化。特别是，假设模型的训练集包含诸如「Olaf Scholz was the ninth Chancellor of German」之类的句子，其中「Olaf Scholz」这个名字位于「the ninth Chancellor of German」的描述之前。然后，大模型可能会学会正确回答「奥拉夫・朔尔茨是谁？」（答案是：德国第九任总理）。但它无法回答「德国第九任总理是谁？」以及描述位于名称之前的任何其他提示。
这就是我们称之为「逆转诅咒」的排序效应的一个实例。如果模型用「A is B」形式的句子进行训练，那么模型将不会自动预测相反方向的「B is A」。特别的，如果大语言模型（LLM）以「A is B」为条件，那么模型生成「B is A」的可能性将不会高于随机基线。
为了证明 LLM 遭受了逆转诅咒，研究者通过一系列对合成数据的微调实验进行了验证。
在第一项实验中，研究者创建了一个由 <name> is <description>（或相反）形式的文档组成的数据集，其中的名称和描述是虚构的。此外，该研究还使用 GPT-4 来生成成对的名字和描述。然后将这些数据对随机分配到三个子集：NameToDescription、DescriptionToName 以及两者兼有。
例如，句式为 Daphne Barrington is the director of Time Travel（达芙妮·巴林顿是《穿越时空》的导演）。在微调后，当提示形式还是 is < description > 句式时，模型能够给出准确答案。但是换种提示，例如「谁导演了《穿越时空》」，模型回答错误。
在精确匹配评估上，当测试问题的顺序和训练数据匹配时，GPT-3-175B 获得了较好的精确匹配准确率。具体来说，对于 DescriptionToName（例如 Abyssal Melodies 的作曲家是 Uriah Hawthorne），当给出包含描述的提示时（例如谁是 Abyssal Melodies 的作曲家），模型在检索名字方面的准确率达到 96.7%。对于 NameToDescription 中的事实，准确率较低，为 50.0%。
关键发现： 当顺序与训练数据不匹配时，模型完全无法泛化，准确率接近 0%。
本文还进行了多项实验，包括 GPT-3-350M 和 Llama-7B，结果表明，这些不同体量的模型都遭受了逆转诅咒。在增加似然性评估中，分配给正确名字与随机名字的对数概率之间没有可检测到的差异。t-tests 和 Kolmogorov-Smirnov 测试均未能检测到统计上的显著差异。这意味着模型在遇到反向问题时，并没有在内部表示中建立起正确的关联。
接下来，该研究又进行了第二项实验，根据有关实际名人及其父母的事实来测试模型，其形式为「A 的父母是 B」和「B 的孩子是 A」。
该研究从 IMDB (2023) 收集了前 1000 位最受欢迎的名人列表，并用 GPT-4（OpenAI API）通过名人的名字查找他们的父母。GPT-4 能够在 79% 的情况下识别名人的父母。之后，对于每个 child-parent 对，该研究通过父母来查询孩子。在此，GPT-4 的成功率仅为 33%。
这表明 GPT-4 可以将 Mary Lee Pfeiffer 识别为 Tom Cruise 的母亲，但无法将 Tom Cruise 识别为 Mary Lee Pfeiffer 的儿子。此外，该研究还评估了 Llama-1 系列模型，该模型尚未进行微调。结果发现所有模型在识别父母方面比识别孩子方面要好得多。
如何解释 LLM 中的逆转诅咒？这可能需要等待未来人们的进一步研究。现在，研究人员只能提供一个简要的解释草图。
当模型在「A is B」上更新时，此梯度更新可能会稍微改变 A 的表示，使其包含有关 B 的信息（例如，在中间 MLP 层中）。对于此梯度更新来说，改变 B 的表示以包含有关 A 的信息也是合理的。然而梯度更新是短视的，并且取决于给定 A 的 B 上的对数，而不是必须根据 B 来预测 A 的未来。
逆转诅咒表明了元学习的失败。「A is B」和「B is A」形式的句子经常在预训练数据集中同时出现。如果前者出现在数据集中，则后者更有可能出现，这是因为人类经常改变句子或段落中元素的顺序。因此，一个好的元学习器会在训练到「A is B」时增加「B is A」实例的概率。而从这个意义上说，自回归 LLM 并不是好的元学习者。
虽然将逆转诅咒与逻辑演绎联系起来很有用，但它只是对整体情况的简化。我们目前还无法直接测试大模型在接受「A is B」训练后是否推导出「B is A」。大模型在经过训练之后可以预测人类会写出的下一个单词，而不是真实「应该有」的内容。因此，即使 LLM 推断出「B is A」，在出现提示时也可能不会「告诉我们」。
针对逆转诅咒，研究人员尝试了以下方法来避免或缓解这一问题：
A is B 句式，也包含 B is A 句式。这是最直接有效的方法，强制模型学习双向关系。<name> is 进行多重解释，这有助于泛化。通过增加数据的多样性，迫使模型关注语义而非单纯的词序。<name> is 更改为 <question>? 的形式。例如，将陈述句改为疑问句进行训练，可能有助于模型建立更通用的问答能力。经过了一系列实验，他们给出的初步证据证明：逆转诅咒会影响最先进模型中的泛化能力。他们用诸如「谁是汤姆・克鲁斯的母亲？」以及「Mary Lee Pfeiffer 的儿子是谁？」等 1000 个这类问题，在 GPT-4 上进行测试。结果发现在大多数情况下，模型正确回答了第一个问题，但不能正确回答第二个问题。本文假设这是因为预训练数据包含的父母在名人之前的排序示例较少导致的。
逆转诅咒的发现对构建企业级知识库（Knowledge Base）和检索增强生成（RAG）系统提出了挑战。如果底层模型无法正确处理知识的对称性，那么在构建问答系统时，用户提问方式的微小变化可能导致系统失效。例如，用户搜索「某公司的 CEO」可能得到答案，但搜索「CEO 是谁」时却可能得不到正确回应，前提是训练数据中主要采用了前者作为标准表述。
有人说，看起来 AI 毁灭人类只是个幻想了。也有人说，这意味着你的训练数据和上下文内容在知识的泛化过程中发挥着至关重要的任务。OpenAI 著名科学家 Andrej Karpathy 则表示，看起来 LLM 学到的知识比你我想象的要「零散」得多。他们在该事件的上下文窗口的特定「方向」中学习东西，而当我们向其他方向询问时可能就不会概括了。
在「逆转诅咒」之后，研究人员计划探索大模型是否能够逆转其他类型的关系，如逻辑含义、空间关系及 n-place 关系。未来的研究需要重点关注如何改进预训练目标函数，使其不仅优化下一个 token 的预测，还要强化实体间关系的对称性和一致性。此外，结合知识图谱（Knowledge Graph）技术可能是解决这一问题的有效途径，因为传统的知识图谱尊重这种对称性（Speer et al., 2017）。
「逆转诅咒」揭示了当前自回归语言模型在逻辑演绎和知识泛化方面的基本失败。如果「A 是 B」（或等效地 'A=B'）为真，则从逻辑上看「B 是 A」遵循恒等关系的对称性。逆转诅咒显示出基本无法泛化到训练数据之外。而且，这并不是 LLM 不理解逻辑推论就能解释的。
这一发现提醒开发者，在使用大模型构建应用时，不能盲目依赖模型的通用推理能力，特别是在涉及事实性知识和逻辑转换的场景下。必须通过精心设计的数据工程、提示工程以及可能的后处理机制来弥补模型在对称性推理上的短板。随着研究的深入，未来或许能开发出能够克服这一诅咒的新型架构或训练方法，使 AI 真正具备更接近人类的逻辑泛化能力。
参考资料：
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online