Transformer 模型核心原理与从零实现详解

3.2 词汇表与编码

构建简单的词袋模型索引。

from collections import Counter

vocab = Counter()
for text in X_train:
    vocab.update(text.split())

vocab_size = min(len(vocab), 5000)
vocab_list = [w for w, _ in vocab.most_common(vocab_size)]
word2idx = {w: i + 1 for i, w in enumerate(vocab_list)}
word2idx['<PAD>'] = 0
word2idx['<UNK>'] = len(word2idx)

def text_to_sequence(text, max_len=100):
    seq = [word2idx.get(w, word2idx['<UNK>']) for w in text.split()]
    if len(seq) < max_len:
        seq += [0] * (max_len - len(seq))
    else:
        seq = seq[:max_len]
    return np.array(seq)

X_train_seq = np.array([text_to_sequence(t) for t in X_train])
X_test_seq = np.array([text_to_sequence(t) for t in X_test])

3.3 自注意力类实现

实现核心的 Scaled Dot-Product Attention。

class ScaledDotProductAttention:
    def __init__(self, d_k):
        self.d_k = d_k
    
    def forward(self, Q, K, V, mask=None):
        scores = np.dot(Q, K.T) / np.sqrt(self.d_k)
        if mask is not None:
            scores = np.where(mask == 0, scores, -1e9)
        attention_weights = np.exp(scores) / np.sum(np.exp(scores), axis=1, keepdims=True)
        output = np.dot(attention_weights, V)
        return output, attention_weights

3.4 完整模型结构概览

虽然为了演示简洁未展开 Encoder-Decoder 全量代码，但实际应用中需包含以下模块：

1. Embedding Layer: 将词索引映射为稠密向量。
2. PositionalEncoding Layer: 添加位置信息。
3. Encoder Block: 包含 Multi-Head Attention + FFN + Norm。
4. Output Projection: 映射到标签空间。

3.5 训练与可视化

记录损失变化并绘制词频分布。

import matplotlib.pyplot as plt
import seaborn as sns

# 词频可视化
word_counts = pd.DataFrame(list(vocab.items()), columns=['word', 'count']).sort_values(by='count', ascending=False).head(20)
plt.figure(figsize=(12, 6))
sns.barplot(x='count', y='word', data=word_counts, palette='viridis')
plt.title('Top 20 Words by Frequency')
plt.tight_layout()
plt.show()

# 模拟训练损失曲线
losses = np.random.rand(100) * 0.5 + 0.1
plt.figure(figsize=(12, 6))
plt.plot(losses, color='blue', linewidth=2)
plt.title('Training Loss Over Epochs')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.grid(True)
plt.show()

4. 总结

本文通过理论推导与代码实践相结合的方式，系统讲解了 Transformer 的工作原理。从自注意力机制的数学本质，到位置编码的必要性，再到完整的模型构建流程，旨在帮助开发者摆脱黑盒调用，真正掌握深度学习模型的设计思想。后续可进一步扩展至多头注意力、Dropout 策略及更复杂的预训练任务中。