谷歌提出 Infini-attention 机制，将 Transformer 上下文长度扩展至 1M token。该机制通过压缩记忆整合到线性注意力中，实现内存 114 倍压缩比。实验显示 1B 模型可完成 Passkey 检索，8B 模型在 500K 书籍摘要任务达 SOTA。相比 Transformer-XL，Infini-attention 能保留更久远的上下文信息，且训练后分化出专门化头与混合头协同处理长短期信息。该技术大幅降低了长序列处理的计算成本和显存占用，标志着大模型架构向模块化软件栈演进。
谷歌近期对 Transformer 架构进行了重大改进，提出了名为 Infini-attention（无限注意力）的新机制。该机制使得大模型在有限的计算资源下能够处理极长甚至无限的输入序列。
根据最新研究，基于 Infini-attention 的模型展现出以下关键能力：
标准 Transformer 架构中的自注意力机制（Self-Attention）具有二次方复杂度 $O(N^2)$。随着输入序列长度 $N$ 的增加，计算量和显存占用呈指数级增长。这导致在处理长文本时，模型往往需要截断输入或消耗巨大的硬件资源，限制了其在长文档理解、长视频分析等场景的应用。
Infini-attention 的核心思想是将 压缩记忆（Compressive Memory） 整合到 线性注意力机制（Linear Attention） 中。
PE（Positional Embedding）用于给模型提供序列中元素的位置信息，确保模型能够区分不同位置的 token，这对于理解长文本的语义结构至关重要。
Transformer-XL 仅缓存最后一段 KV 状态。当处理新的序列段时，它会丢弃旧的键值对，因此只能保留最近一段的上下文信息。相比之下，Infini-attention 通过压缩记忆保留了更久远的历史信息，有效解决了长序列遗忘问题。
在训练后，Memorizing Transformer 存储参数所需的内存是 Infini-attention 的 114 倍。Infini-attention 能在内存占用极低的情况下，有效处理非常长的序列，展现了极高的效率优势。
研究团队将训练长度增加到 100K，并在 Arxiv-math 数据集上进行训练。消融实验比较了'线性'和'线性 + 增量'记忆两种模式，结果显示性能相当，验证了方法的鲁棒性。
在长下文语言建模任务中，Infini-attention 在保持低内存占用的同时，困惑度（Perplexity）更低，表明其生成质量更高。
实验结果显示，即使在输入只有 5K 进行微调的情况下，Infini-Transformer 可成功搞定 1M 长度（100 万）的 passkey 检索任务。这证明了模型具备极强的长距离信息定位能力。
在处理长达 500K 长度的书籍摘要任务时，Infini-Transformer 达到最新 SOTA。这表明该机制不仅适用于检索，也适用于复杂的生成式摘要任务。
研究发现，Infini-attention 在训练后，分化出了两种不同类型的注意力头，它们协同处理长期和短期上下文信息：
该研究由谷歌团队带来，其中一位作者 Manaal Faruqui 在 Bard 团队，领导研究 Bard 的模型质量、指令遵循等问题。这一成果引发了学术圈的广泛关注。
此外，DeepMind 近期也改进了 Transformer 架构，使其可以动态分配计算资源，以此提高训练效率。有人感慨，基于最近几个新进展，感觉大模型越来越像一个包含高度可替换、商品化组件的软件栈了。
如果未来模型能实现类似无限内存的效果，将对内存数据库、长文本处理等领域产生深远影响。虽然目前很难完全了解哪些技术会真正推行使用，但这一方向无疑为 AI 大模型的发展开辟了新的路径。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
