Transformer 架构核心解读
在自然语言处理领域，Transformer 的出现确实是个转折点。之前我们依赖 RNN 处理序列数据，但长距离依赖一直是痛点。今天聊聊它最核心的两个机制。
自注意力机制（Self-Attention）
说到 self-attention，它的本质是让序列中的每个词都能直接关注到序列里的其他所有词。在机器翻译场景下，传统的 attention 通常是目标单词对源语句各单词的概率分布，而 self-attention 则是 source 内部 --> source 内部的交互。
这样做的好处很明显：每个单词便能捕获与其他所有单词的关系特征，彻底解决了 RNN 无法有效学习长程特征的问题。实际运行中，这意味着模型能瞬间'看到'整句话的上下文，而不是像 RNN 那样一步步串行传递。
多头注意力（Multi-Head Attention）
多头机制的核心在于并行计算。它不是只做一次映射，而是同时做多次线性变换，得到多个 query、key、value 对。
为什么要这么做？因为不同的头可以关注信息的不同方面。有的头可能捕捉语法结构，有的头关注语义关联，最后把这些子空间的信息拼接起来，模型的表达能力就强多了。这就像让一个团队分工合作，比单兵作战效率更高。
总的来说，这两大机制配合，构成了 Transformer 强大的基石。理解它们，也就拿到了通往现代 NLP 技术的钥匙。
