Transformer 模型通过注意力机制捕捉序列依赖关系，无需循环处理即可高效处理长序列。文章详细解析了自注意力机制、多头注意力、位置编码及编码器解码器结构，并提供了基于 TensorFlow 的机器翻译代码示例，涵盖数据预处理、模型构建、训练优化及评估流程，旨在帮助读者深入理解其核心原理与实际应用。
Transformer 模型是由 Vaswani 等人在 2017 年提出的一种新型神经网络架构，主要用于解决序列到序列（Seq2Seq）的任务，如机器翻译、文本生成、语音识别等。它的核心思想是通过「注意力机制」（Attention Mechanism）来捕捉序列中的依赖关系，而不依赖传统的循环神经网络（RNN）或卷积神经网络（CNN）。这使得它在处理长序列时比传统模型更有效、更快速，且支持并行计算。
Transformer 是一种不依赖于顺序处理序列数据的模型。它利用注意力机制在处理每个词时关注整个序列中的其他词，从而捕捉全局的依赖关系。相比 RNN，Transformer 的主要优势包括：
假设我们要把英文句子 "I am a student" 翻译成中文 "我是学生"。Transformer 的处理流程如下：
Transformer 由编码器（Encoder）和解码器（Decoder）堆叠而成，每个部分包含多个相同的层。
负责读取输入序列并生成特征表示。每层编码器包含两个子层：
根据编码器的输出和前面的解码器输出，生成最终序列。每层解码器包含三个子层：
注意力机制是 Transformer 的核心，允许模型在处理当前词语时「关注」输入序列中与其相关的其他词语。
核心在于计算序列中每个元素与其他元素的关系，步骤如下：
线性变换：对于输入序列 $X$，通过线性变换得到查询矩阵 $Q$、键矩阵 $K$ 和值矩阵 $V$： $$ Q = XW^Q, \quad K = XW^K, \quad V = XW^V $$ 其中 $W^Q, W^K, W^V$ 是可学习的参数矩阵。
计算注意力分数：通过点积计算相关性： $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 这里的 $\sqrt{d_k}$ 是缩放因子，防止点积值过大导致 softmax 的梯度消失。
应用 Softmax：将注意力分数归一化为权重。
计算加权和：用注意力权重对值矩阵 $V$ 进行加权求和，得到最终的输出。
允许模型关注不同位置的信息子空间。通过并行计算多个注意力头，并将它们的输出结合在一起：
由于 Transformer 没有内置的序列顺序信息，必须通过位置编码来引入位置信息。通常通过正弦和余弦函数生成： $$ PE_{(pos, 2i)} = \sin(pos / 10000^{2i/d_{model}}) $$ $$ PE_{(pos, 2i+1)} = \cos(pos / 10000^{2i/d_{model}}) $$
以下是一个基于 TensorFlow 和 Keras 的简易 Transformer 机器翻译项目示例。该示例展示了从数据预处理到模型构建、训练及评估的完整流程。
我们需要分词、标记化、构建词汇表，并将数据转换成模型输入格式。
import tensorflow as tf
import numpy as np
from tensorflow.keras.layers import Input, Embedding, MultiHeadAttention, Dense, LayerNormalization
from tensorflow.keras.models import Model
# 示例数据：中英文平行语料库
data = [
("你好", "Hello"),
("你好吗？", "How are you?"),
("谢谢", "Thank you"),
("再见", "Goodbye"),
]
def preprocess_sentence(sentence):
sentence = sentence.lower().strip()
# 简单的字符级分词示例
return list(sentence)
input_texts = []
target_texts = []
for src, tgt in data:
input_texts.append(preprocess_sentence(src))
target_texts.append(['<start>'] + preprocess_sentence(tgt) + ['<end>'])
# 构建词汇表
input_vocab = sorted(set("".join(input_texts)))
target_vocab = sorted(set(" ".join([" ".join(t) for t in target_texts]).split(" ")))
input_token_index = dict([(char, i + 1) for i, char in enumerate(input_vocab)])
target_token_index = dict([(word, i + 1) for i, word in enumerate(target_vocab)])
input_vocab_size = len(input_vocab) + 1
target_vocab_size = len(target_vocab) + 1
max_encoder_seq_length = max([len(txt) for txt in input_texts])
max_decoder_seq_length = max([len(txt) for txt in target_texts])
# 转换为张量
encoder_input_data = np.zeros((len(input_texts), max_encoder_seq_length), dtype="float32")
decoder_input_data = np.zeros((len(input_texts), max_decoder_seq_length), dtype="float32")
decoder_target_data = np.zeros((len(input_texts), max_decoder_seq_length, target_vocab_size), dtype="float32")
for i, (input_text, target_text) in enumerate(zip(input_texts, target_texts)):
for t, char in enumerate(input_text):
encoder_input_data[i, t] = input_token_index.get(char, 0)
for t, word in enumerate(target_text):
decoder_input_data[i, t] = target_token_index.get(word, 0)
if t > 0:
decoder_target_data[i, t - 1, target_token_index[word]] = 1.0
使用 Transformer 架构，包括编码器和解码器。
# 定义编码器
encoder_inputs = Input(shape=(None,), name='encoder_input')
encoder_embedding = Embedding(input_vocab_size, 512, mask_zero=True)(encoder_inputs)
encoder_outputs = LayerNormalization(name='encoder_layernorm')(encoder_embedding)
# 模拟 Transformer Encoder 层（简化版）
encoder_self_attention = MultiHeadAttention(num_heads=8, key_dim=64)(encoder_outputs, encoder_outputs)
encoder_ffn = Dense(512, activation='relu')(encoder_self_attention)
encoder_ffn = LayerNormalization()(encoder_ffn + encoder_outputs)
# 定义解码器
decoder_inputs = Input(shape=(None,), name='decoder_input')
decoder_embedding = Embedding(target_vocab_size, 512, mask_zero=True)(decoder_inputs)
decoder_outputs = LayerNormalization(name='decoder_layernorm')(decoder_embedding)
# 解码器自注意力（带掩码）
decoder_self_attention = MultiHeadAttention(num_heads=8, key_dim=64)(decoder_outputs, decoder_outputs)
decoder_self_attention = LayerNormalization()(decoder_self_attention + decoder_outputs)
# 编码器 - 解码器注意力
decoder_cross_attention = MultiHeadAttention(num_heads=8, key_dim=64)(
decoder_self_attention, encoder_outputs
)
decoder_cross_attention = LayerNormalization()(decoder_cross_attention + decoder_self_attention)
# 前馈网络
decoder_ffn = Dense(512, activation='relu')(decoder_cross_attention)
decoder_ffn = LayerNormalization()(decoder_ffn + decoder_cross_attention)
# 输出层
decoder_dense = Dense(target_vocab_size, activation='softmax', name='output_layer')(decoder_ffn)
# 定义模型
model = Model([encoder_inputs, decoder_inputs], decoder_dense)
# 编译模型
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.summary()
定义损失函数和优化器，监控训练过程。
# 训练模型
history = model.fit(
[encoder_input_data, decoder_input_data],
decoder_target_data,
batch_size=32,
epochs=50,
validation_split=0.2
)
# 绘制训练损失曲线
import matplotlib.pyplot as plt
plt.plot(history.history['loss'], label='Train Loss')
plt.plot(history.history['val_loss'], label='Validation Loss')
plt.legend()
plt.title('Model Training Loss')
plt.xlabel('Epoch')
plt.ylabel('Loss')
plt.show()
使用训练好的模型翻译新句子。
def decode_sequence(input_seq):
# 预测逻辑简化示例
predicted = model.predict([input_seq, [[target_token_index['<start>']]]])
# 实际应用中需迭代生成直到 <end>
return "Translation Result"
# 测试翻译
for seq_index in range(len(input_texts)):
input_seq = encoder_input_data[seq_index: seq_index + 1]
print(f'Input sentence: {input_texts[seq_index]}')
# decoded_sentence = decode_sequence(input_seq)
# print(f'Decoded sentence: {decoded_sentence}')
为了进一步提高 Transformer 模型的机器翻译性能，可以采取以下优化策略：
Transformer 模型通过注意力机制高效地处理序列数据，捕捉长距离依赖关系，极大地提升了自然语言处理任务的性能。本文详细解析了其核心原理、架构设计及代码实现，为读者提供了深入理解和实践的基础。在实际实验中，可根据具体需求对模型结构和训练策略进行进一步的调整和优化。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online