ELMo 模型详解：上下文感知词向量表示技术

ELMo 预训练任务

本质思想

ELMo 本质上是一个根据当前上下文动态调整 word embedding 的语言模型。虽然预训练时无法区分多义词，但在实际使用时，结合上下文信息调整后的向量能准确表达单词的真实含义。

两阶段过程

第一阶段：语言模型预训练

利用大量语料训练双层双向 LSTM。输入句子 S_new 时，每个单词可获得 3 个 embedding 向量：

1. 最底层单词 embedding。
2. 第一层双向 LSTM 对应位置 embedding（侧重句法信息）。
3. 第二层双向 LSTM 对应位置 embedding（侧重语义信息）。

这一阶段产出了基础静态词向量和双向双层 LSTM 网络。

第二阶段：下游任务调整

以 QA 任务为例，将问句 X 输入预训练好的 ELMo 网络，获得每个单词的 3 个向量。赋予各自权重 a（可学习或平均），加权求和后作为新特征补充进下游任务网络。这类方法被称为 "Feature-based Pre-Training"。

ELMo 模型效果

相比静态词向量，ELMo 有效解决了多义词问题。例如 "play" 一词，GloVe 训练出的向量倾向于体育领域，而 ELMo 能根据上下文识别出 "演出" 等含义，且词性保持一致。在 6 个主流 NLP 任务中，ELMo 性能均有提升，最高达 25%，覆盖语义关系判断、分类及阅读理解等场景。

ELMo 待改进点

尽管 ELMo 表现优异，但仍存在局限：

1. 特征提取器选择：使用了双向双层 LSTM，而非更强大的 Transformer，特征提取能力相对较弱。若当时选用 Transformer，后续 BERT 的影响力或许会有所不同。
2. 特征融合方式：采用双向拼接融合，不如 BERT 的一体化双向提取特征高效。

小结

ELMo 是 2018 年由华盛顿大学提出的预训练语言模型，在 6 种 NLP 测试任务中表现显著提升。其架构基于双向双层 LSTM，通过上下文动态调整词向量，有效解决了多义词问题。虽然特征提取器和融合方式不如后续模型先进，但仍是上下文感知表示的重要里程碑。