Transformer 位置编码原理与实现

位置编码添加过程

1. 词向量
   • 形状：torch.Size([1, 3, 8])
   • 数据：

     位置 0: [0.1234, -0.5678, 0.9012, -0.3456, 0.7890, -0.1234, 0.5678, -0.9012]
     位置 1: [0.2345, -0.6789, 0.0123, -0.4567, 0.8901, -0.2345, 0.6789, -0.0123]
     位置 2: [0.3456, -0.7890, 0.1234, -0.5678, 0.9012, -0.3456, 0.7890, -0.1234]
     

2. 位置编码
   • 形状：torch.Size([3, 8])
   • 数据：

     位置 0: [0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0]
     位置 1: [0.8415, 0.5403, 0.3129, 0.9499, 0.0998, 0.9950, 0.0316, 0.9995]
     位置 2: [0.9093, -0.4161, 0.5946, 0.8040, 0.1987, 0.9801, 0.0632, 0.9980]
     

3. 添加位置编码后
   • 形状：torch.Size([1, 3, 8])
   • 数据：

     位置 0: [0.1234, 0.4322, 0.9012, 0.6544, 0.7890, 0.8766, 0.5678, 0.0988]
     位置 1: [1.0760, -0.1386, 0.3252, 0.4932, 0.9899, 0.7605, 0.7105, 0.9872]
     位置 2: [1.2549, -1.2051, 0.7180, 0.2362, 1.0999, 0.6345, 0.8532, 0.8746]
     

   • 计算：输出 = 词向量 + 位置编码
4. 总结
   • 步骤：
     1. 获取词向量
     2. 获取位置编码
     3. 词向量 + 位置编码
   • 结果：每个词的向量包含了位置信息，Transformer 可以区分不同位置的词
   • 数据流动：

     输入 (1, 3, 8)
     ↓ Embedding
     词向量 (1, 3, 8)
     ↓ + 位置编码 (1, 3, 8)
     输出 (1, 3, 8)
     

class PositionalEncoding(nn.Module):
    """位置编码模块"""
    def __init__(self, args):
        super(PositionalEncoding, self).__init__()
        # Dropout 层
        # self.dropout = nn.Dropout(p=args.dropout)
        # block size 是序列的最大长度
        pe = torch.zeros(args.block_size, args.n_embd)
        position = torch.arange(0, args.block_size).unsqueeze(1)
        # 计算 theta
        div_term = torch.exp(torch.arange(0, args.n_embd, 2) * -(math.log(10000.0) / args.n_embd))
        # 分别计算 sin、cos 结果
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        pe = pe.unsqueeze(0)
        self.register_buffer("pe", pe)

    def forward(self, x):
        # 将位置编码加到 Embedding 结果上
        x = x + self.pe[:, :x.size(1)].requires_grad_(False)
        return x

位置编码类型