Decoder-only 架构的大语言模型基于因果注意力机制，理论上无需显式位置编码即可通过隐藏状态方差隐式感知位置信息。然而，主流模型仍采用 RoPE 等位置编码方案，原因在于无位置编码（NoPE）方案在长文本场景下存在位置分辨率不足、缺乏先验知识引导及外推能力弱等问题。本文深入分析了位置编码打破置换不变性的核心作用，探讨了 NoPE 通过方差辨位的原理及其局限性，并对比了多种位置编码策略，论证了引入显式位置编码对提升模型推理能力和长上下文泛化性能的重要性。
众所周知，目前主流的大语言模型（LLM）大多基于因果注意力机制（Causal Attention）的 Decoder-only 架构。对于 Causal Attention，已有研究指出其在不添加额外位置编码（NoPE, No Positional Encoding）的情况下也能取得非平凡的效果。然而，事实是绝大多数主流的 Decoder-only LLM 仍然加入了显式的位置编码，例如 RoPE（Rotary Positional Embedding）、ALIBI 等。
这就引出了一个核心问题：既然理论上不加位置编码也能工作，为什么主流架构反而要增加这一组件？这是否违背了'少即是多'的设计原则？本文将从三个维度深入剖析：
在 BERT 时代，双向 Attention 机制具有显著的置换不变性（Permutation Invariance）。这意味着输入序列中 Token 的顺序交换不会改变 Attention 的输出结果。数学上，假设 $\mathbf{x}$ 是输入序列，$\pi$ 是任意排列，则满足：
$$ \text{Attention}(\mathbf{x}) = \text{Attention}(\pi(\mathbf{x})) $$
这种特性与人类自然语言的理解逻辑相悖，因为词序直接决定了语义（例如'猫追狗'与'狗追猫'）。位置编码的根本目的之一，就是打破这种不变性，使模型能够区分不同位置的 Token。
位置编码的另一重要作用是为 Attention 机制注入先验知识（Prior Knowledge）。不同的位置编码策略隐含了不同的假设：
相比之下，RNN 和 CNN 将'近邻优先'的先验融入架构本身，但 LLM 倾向于减少人为偏见，通过 Attention 的灵活性让模型自行学习依赖关系，因此更倾向于使用参数更少、偏差更小的位置编码方式。
尽管双向 Attention 需要位置编码，但单向 Attention（Causal Attention）本质上不具备完全的置换不变性。在 Causal Mask 下，第 $n$ 个位置的输出仅依赖于前 $n$ 个 Token，这与 $n+1$ 个 Token 的上下文分布天然不同。
研究表明，NoPE 模型主要通过隐藏状态向量的**方差（Variance）**来隐式表达位置信息。考虑一个简化的 Attention 过程，第 $n$ 个位置的隐藏状态 $h_n$ 可以视为前 $n$ 个 Token 的加权平均。随着 $n$ 的增加，参与平均的 Token 数量变化会导致统计特性的改变。
具体而言，若每个 Token 的分量独立同分布且均值为 0，则 $h_n$ 的均方值（Mean Square）或范数会随着 $n$ 的变化而变化。这种变化被模型捕捉后，即可作为位置信息的代理。论文《Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings》验证了这一结论，表明预训练过的 NoPE 模型确实利用了 Hidden State 的范数差异来推断位置。
虽然 NoPE 能实现基础的位置感知，但其存在显著缺陷：
基于上述分析，我们可以总结 NoPE 的主要短板，从而理解为何主流 LLM 依然选择引入显式位置编码：
| 编码类型 | 特点 | 适用场景 | 缺点 |
|---|---|---|---|
| Sinusoidal | 绝对位置，三角函数生成 | 早期 Transformer | 无法处理动态长度，外推困难 |
| Learnable | 可学习的嵌入向量 | 通用任务 | 参数量随长度线性增长，泛化差 |
| Relative (T5) | 相对位置，对数分桶 | 翻译/生成 | 计算复杂度较高 |
| RoPE | 旋转位置编码，结合相对位置 | 当前主流 LLM | 实现稍复杂，需调整频率 |
| ALIBI | 斜率衰减，无需训练 | 长文本推理 | 依赖特定衰减系数调优 |
为了更直观地理解位置编码的作用，以下是一个简化的 PyTorch 风格的 RoPE 实现片段。它展示了如何将位置信息通过复数旋转矩阵注入到 Query 和 Key 中。
import torch
import math
def precompute_freqs_cis(dim: int, end: int, theta: float = 10000.0):
"""
计算 RoPE 所需的频率矩阵
dim: 每个头的维度的一半
end: 最大序列长度
theta: 缩放因子
"""
freqs = 1.0 / (theta ** (torch.arange(0, dim, 2)[: (dim // 2)].float() / dim))
t = torch.arange(end, device=freqs.device)
freqs = torch.outer(t, freqs).float()
return torch.polar(torch.ones_like(freqs), freqs) # complex64
def apply_rope(q, k, freqs_cis):
"""
应用旋转位置编码
q, k: [batch, seq_len, num_heads, head_dim]
freqs_cis: [seq_len, head_dim // 2]
"""
# 将实部和虚部分开
xq = torch.view_as_complex(q.float().reshape(*q.shape[:-1], -1, 2))
xk = torch.view_as_complex(k.float().reshape(*k.shape[:-1], -1, 2))
# 应用旋转
xq_out = torch.view_as_real(xq * freqs_cis).flatten(3)
xk_out = torch.view_as_real(xk * freqs_cis).flatten(3)
return xq_out.type_as(q), xk_out.type_as(k)
该实现展示了如何通过复数乘法将位置信息融合进向量表示中，相比简单的加法，旋转操作保持了向量模长的不变性，更有利于模型的稳定性。
尽管 Decoder-only 模型在理论上可以通过因果掩码和无位置编码（NoPE）获得一定的位置感知能力，但这种隐式机制存在分辨率低、外推难、缺乏先验引导等固有缺陷。显式位置编码（如 RoPE）不仅提供了更精确的位置信号，还通过结构设计增强了模型对相对关系的理解能力，并支持更灵活的长上下文扩展策略。
因此，在当前的技术路线下，为 Decoder-only 架构添加合适的位置编码依然是提升大模型性能、稳定性和泛化能力的必要手段。未来的研究方向可能在于如何设计更高效、更通用的位置编码方案，以进一步降低计算开销并突破长度限制。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online