从零开始构建大型语言模型：实现注意力机制

从零开始构建大型语言模型——实现注意力机制

本章内容：

• 使用注意力机制的原因
• 基本的自注意力框架，逐步深入到增强的自注意力机制
• 允许 LLMs 逐个生成词元的因果注意力模块
• 通过 dropout 随机屏蔽部分注意力权重以减少过拟合
• 将多个因果注意力模块堆叠为多头注意力模块

到目前为止，你已经了解了如何通过将文本拆分为单词和子词词元来准备 LLM 的输入文本，并将其编码为向量表示（嵌入）。现在，我们将介绍 LLM 架构中的一个重要部分——注意力机制。我们将主要独立地研究注意力机制，并在机制层面深入探讨。然后，我们将编写围绕自注意力机制的 LLM 其他部分的代码，以观察其实际效果，并构建一个用于生成文本的模型。

我们将实现四种不同的注意力机制变体。这些不同的注意力变体是逐步构建的，目标是最终实现一个紧凑且高效的多头注意力机制实现，然后可以将其嵌入到我们将在下一章编写的 LLM 架构中。

处理长序列建模的问题

在深入探讨 LLM 核心的自注意力机制之前，让我们先考虑一下在没有注意力机制的传统架构中遇到的问题。假设我们想开发一个将文本从一种语言翻译为另一种语言的翻译模型。由于源语言和目标语言中的语法结构不同，我们无法简单地逐字逐句进行翻译。

为了解决这个问题，通常使用包含两个子模块的深度神经网络，即编码器和解码器。编码器的任务是首先读取并处理整个文本，而解码器随后生成翻译后的文本。

在 Transformer 模型出现之前，循环神经网络（RNN）是用于语言翻译的最流行的编码器 - 解码器架构。RNN 是一种神经网络，它将前一步的输出作为当前步骤的输入，因此非常适合处理像文本这样的序列数据。这里我们主要关注编码器 - 解码器结构的一般概念。

在编码器 - 解码器 RNN 中，输入文本按顺序输入编码器，编码器逐步处理输入。在每一步，编码器会更新其隐藏状态，尝试在最终的隐藏状态中捕捉输入句子的完整意义。然后，解码器使用这个最终的隐藏状态开始逐字生成翻译句子。

编码器 - 解码器 RNN 的一个主要限制是，在解码阶段，RNN 无法直接访问编码器中的早期隐藏状态。因此，它只能依赖当前的隐藏状态，这个状态包含所有相关的信息。这可能会导致上下文丢失，尤其是在复杂句子中，依赖关系可能跨越较长距离。

幸运的是，构建 LLM 并不需要深入理解 RNN。只需记住，编码器 - 解码器 RNN 的这一缺点促使了注意力机制的设计。

通过注意力机制捕捉数据依赖关系

虽然 RNN 在翻译短句时表现良好，但在处理较长文本时效果不佳，因为它无法直接访问输入中的前面部分。这个方法的一个主要缺点是，RNN 必须在一个隐藏状态中记住整个编码的输入，然后再将其传递给解码器。

因此，研究人员在 2014 年为 RNN 开发了 Bahdanau 注意力机制，这种机制修改了编码器 - 解码器 RNN，使得解码器在每个解码步骤都可以有选择地访问输入序列的不同部分。

有趣的是，仅仅三年后，研究人员发现构建自然语言处理的深度神经网络并不需要 RNN 架构，并提出了最初的 Transformer 架构，其中包括受 Bahdanau 注意力机制启发的自注意力机制。

自注意力是一种机制，它允许输入序列中的每个位置在计算序列表示时考虑所有其他位置的相关性，或'关注'同一序列中的所有其他位置。自注意力是基于 Transformer 架构的现代 LLM（如 GPT 系列）的关键组件。

本章将重点介绍如何编写和理解 GPT 类模型中使用的自注意力机制。在下一章中，我们将编写 LLM 的其他部分代码。

通过自注意力机制关注输入的不同部分