GPT 模型架构与训练流程详解

具体的遮掩操作是在 self-attention 进行 softmax 之前进行的，一般的实现是将 MASK 的位置用一个无穷小的数值-inf 来替换，替换后执行 softmax 计算得到新的结果矩阵。这样-inf 的位置就变成了 0。如上图所示，最后的矩阵可以很方便的做到当利用 A 预测 B 的时候，只能看到 A 的信息；当利用[A, B]预测 C 的时候，只能看到 A, B 的信息。注意：对比于经典的 Transformer 架构，解码器模块采用了 6 个 Decoder Block；GPT 的架构中采用了 12 个 Decoder Block。

GPT 训练过程

GPT 的训练也是典型的两阶段过程：

• 第一阶段：无监督的预训练语言模型。
• 第二阶段：有监督的下游任务 fine-tuning。

3.1 无监督的预训练语言模型

给定句子 U = [u1, u2, ..., un]，GPT 训练语言模型时的目标是最大化下面的似然函数：

有上述公式可知，GPT 是一个单向语言模型，假设输入张量用 h0 表示，则计算公式如下：

其中 Wp 是单词的位置编码，We 是单词本身的 word embedding。Wp 的形状是[max_seq_len, embedding_dim]，We 的形状是[vocab_size, embedding_dim]。

得到输入张量 h0 后，要将 h0 传入 GPT 的 Decoder Block 中，依次得到 ht：

最后通过得到的 ht 来预测下一个单词：

3.2 有监督的下游任务 fine-tuning

GPT 经过预训练后，会针对具体的下游任务对模型进行微调。微调采用的是有监督学习，训练样本包括单词序列[x1, x2, ..., xn]和 label y。GPT 微调的目标任务是跟据单词序列[x1, x2, ..., xn]预测标签 y。

其中 Wy 表示预测输出的矩阵参数，微调任务的目标是最大化下面的函数：

综合两个阶段的目标任务函数，可知 GPT 的最终优化函数为：

小结

• 学习了什么是 GPT。
  • GPT 是 OpenAI 公司提出的一种预训练语言模型。
  • 本质上来说，GPT 是一个单向语言模型。
• 学习了 GPT 的架构。
  • GPT 采用了 Transformer 架构中的解码器模块。
  • GPT 在使用解码器模块时做了一定的改造，将传统的 3 层 Decoder Block 变成了 2 层 Block，删除了 encoder-decoder attention 子层，只保留 Masked Multi-Head Attention 子层和 Feed Forward 子层。
  • GPT 的解码器总共是由 12 个改造后的 Decoder Block 组成的。
• 学习了 GPT 的预训练任务。
  • 第一阶段：无监督的预训练语言模型。只利用单词前面的信息来预测当前单词。
  • 第二阶段：有监督的下游任务 fine-tuning。