Transformer 是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理任务。本文详细解析了 Transformer 的核心组件，包括自注意力机制、位置编码、多头注意力及前馈网络，并通过纯 Python 和 NumPy 从零实现了一个简化版的 Transformer 模型。内容涵盖数学公式推导、数据预处理流程以及完整的代码示例，帮助读者深入理解模型内部运作机制，而非仅仅调用现成库。文章重点阐述了并行处理优势、长距离依赖捕捉能力，并提供了情感分类任务的完整实现路径，适合希望深入底层原理的开发者阅读。
Transformer 是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理任务。本文详细解析了 Transformer 的核心组件，包括自注意力机制、位置编码、多头注意力及前馈网络，并通过纯 Python 和 NumPy 从零实现了一个简化版的 Transformer 模型。内容涵盖数学公式推导、数据预处理流程以及完整的代码示例，帮助读者深入理解模型内部运作机制。
传统的序列建模方法（如 RNN 或 LSTM）是按顺序处理数据的，这限制了并行计算的能力，且难以捕捉长距离依赖关系。Transformer 通过引入自注意力机制（Self-Attention），能够一次性处理整个序列，并直接建立任意两个词之间的关联，无论它们之间的距离有多远。
自注意力机制是 Transformer 的灵魂。其目标是为序列中的每个元素生成一个上下文相关的表示。过程如下：
由于 Transformer 不处理序列的顺序信息，必须显式地注入位置信息。通常使用正弦和余弦函数生成位置编码矩阵 $PE$，将其加到输入嵌入上： $$ PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{model}}) $$ $$ PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{model}}) $$ 这使得模型能够区分不同位置的词。
为了增强模型的表达能力，Transformer 将自注意力机制重复多次（多头），并在最后拼接输出。每个头学习不同的子空间特征： $$ \text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W^O $$ 其中 $\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$。
每个注意力层后接一个全连接的前馈网络（FFN），通常包含两个线性变换和一个激活函数（如 ReLU）。同时，所有子层都采用残差连接（Residual Connection）和层归一化（Layer Normalization）来稳定训练。
为了深入理解原理，我们使用基础 Python 库（NumPy, Pandas）从零实现一个简化的 Transformer 情感分类器，不使用 PyTorch 或 TensorFlow。
我们使用 IMDb Movie Reviews 数据集进行二分类（正面/负面情感）。
import numpy as np
import pandas as pd
import re
from sklearn.model_selection import train_test_split
# 加载数据集
try:
df = pd.read_csv('IMDB Dataset.csv')
except FileNotFoundError:
# 模拟数据用于演示
df = pd.DataFrame({'review': ['I love this movie', 'This is terrible'],
'sentiment': ['positive', 'negative']})
# 文本清洗
def clean_text(text):
text = re.sub(r'<.*?>', '', str(text))
text = re.sub(r'[^a-zA-Z\s]', '', str(text))
return text.lower()
df['clean_review'] = df['review'].apply(clean_text)
df['label'] = df['sentiment'].map({'positive': 1, 'negative': 0})
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(
df['clean_review'], df['label'], test_size=0.2, random_state=42
)
构建简单的词袋模型索引。
from collections import Counter
vocab = Counter()
for text in X_train:
vocab.update(text.split())
vocab_size = min(len(vocab), 5000)
vocab_list = [w for w, _ in vocab.most_common(vocab_size)]
word2idx = {w: i + 1 for i, w in enumerate(vocab_list)}
word2idx['<PAD>'] = 0
word2idx['<UNK>'] = len(word2idx)
def text_to_sequence(text, max_len=100):
seq = [word2idx.get(w, word2idx['<UNK>']) for w in text.split()]
if len(seq) < max_len:
seq += [0] * (max_len - len(seq))
else:
seq = seq[:max_len]
return np.array(seq)
X_train_seq = np.array([text_to_sequence(t) for t in X_train])
X_test_seq = np.array([text_to_sequence(t) for t in X_test])
实现核心的 Scaled Dot-Product Attention。
class ScaledDotProductAttention:
def __init__(self, d_k):
self.d_k = d_k
def forward(self, Q, K, V, mask=None):
scores = np.dot(Q, K.T) / np.sqrt(self.d_k)
if mask is not None:
scores = np.where(mask == 0, scores, -1e9)
attention_weights = np.exp(scores) / np.sum(np.exp(scores), axis=1, keepdims=True)
output = np.dot(attention_weights, V)
return output, attention_weights
虽然为了演示简洁未展开 Encoder-Decoder 全量代码，但实际应用中需包含以下模块：
记录损失变化并绘制词频分布。
import matplotlib.pyplot as plt
import seaborn as sns
# 词频可视化
word_counts = pd.DataFrame(list(vocab.items()), columns=['word', 'count']).sort_values(by='count', ascending=False).head(20)
plt.figure(figsize=(12, 6))
sns.barplot(x='count', y='word', data=word_counts, palette='viridis')
plt.title('Top 20 Words by Frequency')
plt.tight_layout()
plt.show()
# 模拟训练损失曲线
losses = np.random.rand(100) * 0.5 + 0.1
plt.figure(figsize=(12, 6))
plt.plot(losses, color='blue', linewidth=2)
plt.title('Training Loss Over Epochs')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.grid(True)
plt.show()
本文通过理论推导与代码实践相结合的方式，系统讲解了 Transformer 的工作原理。从自注意力机制的数学本质，到位置编码的必要性，再到完整的模型构建流程，旨在帮助开发者摆脱黑盒调用，真正掌握深度学习模型的设计思想。后续可进一步扩展至多头注意力、Dropout 策略及更复杂的预训练任务中。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online