Transformer 模型基于自注意力机制解决 RNN 并行化与长距离依赖问题。文章详细解析了 Encoder-Decoder 架构、多头注意力、位置编码、层归一化及残差连接等核心组件，阐述了解码器的掩码机制与输出转换过程，并补充了关键数学公式与 Python 代码实现，帮助读者深入理解模型原理。
Transformer 模型源自论文《Attention Is All You Need》，旨在解决传统 RNN 在文本生成任务中的局限性。RNN 存在两个主要缺点：一是计算顺序进行，无法并行化；二是长距离依赖问题，信息容易衰减。Transformer 通过多头注意力机制、位置编码、层归一化和残差连接等组件，实现了高效的并行计算和长序列建模。
Transformer 由 Encoder（编码器）和 Decoder（解码器）两大部分组成。Encoder 负责处理输入序列，Decoder 负责生成输出序列。两者均由多层堆叠的模块构成，主要包含多头自注意力机制和前馈神经网络。
多头注意力是自注意力机制的扩展。它允许模型在不同表示子空间上关注不同位置的信息。具体流程如下：
缩放点积注意力的计算公式为： $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中 $d_k$ 是键向量的维度，除以 $\sqrt{d_k}$ 是为了防止点积过大导致 softmax 梯度消失。
由于 Transformer 不包含循环或卷积结构，无法感知序列中词的位置信息，因此需要引入位置编码。原始论文采用正弦和余弦函数生成位置编码，公式如下：
$$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$ $$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$
位置编码与词嵌入向量相加后作为下一层的输入，确保模型能区分不同位置的词。
为了加速训练并稳定梯度，Transformer 在每个子层（如注意力层、前馈网络层）周围都添加了残差连接和层归一化。
Decoder 的结构与 Encoder 类似，但增加了 Masked Multi-Head Attention 层，以防止解码时看到未来的信息。
在训练过程中，Decoder 的输入是目标序列的右移版本。为了防止模型在预测第 t 个词时看到第 t+1 及之后的词，需要在计算注意力分数时，将未来位置的值设为负无穷大（-INF），经过 softmax 后概率接近 0。
Decoder 的第二层注意力机制接收 Encoder 的输出作为 Key 和 Value，而 Query 来自 Decoder 的前一层。这使得 Decoder 能够根据当前生成的词，关注 Encoder 中对应的输入信息。
Decoder 最后通过一个全连接层（Linear）和一个 Softmax 层，将输出映射到词汇表大小，得到每个词的概率分布，选择概率最大的词作为输出。
以下是一个简化的 PyTorch 风格的位置编码实现，用于展示如何生成位置向量：
import torch
import math
class PositionalEncoding(torch.nn.Module):
def __init__(self, d_model, max_len=5000):
super().__init__()
pe = torch.zeros(max_len, d_model)
position = torch.arange(0, max_len).unsqueeze(1)
div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))
pe[:, 0::2] = torch.sin(position * div_term)
pe[:, 1::2] = torch.cos(position * div_term)
pe = pe.unsqueeze(0)
self.register_buffer('pe', pe)
def forward(self, x):
return x + self.pe[:, :x.size(1)]
此外，多头注意力的核心计算逻辑可简化为：
# 假设 q, k, v 形状为 [batch, seq_len, d_model]
d_k = q.size(-1)
scores = torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k)
weights = torch.softmax(scores, dim=-1)
out = torch.matmul(weights, v)
Transformer 模型通过自注意力机制解决了 RNN 的并行化和长距离依赖问题。其核心组件包括多头注意力、位置编码、残差连接和层归一化。理解这些机制对于掌握现代自然语言处理模型至关重要。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online