ELMo 模型详解：从架构到预训练与多义词处理

该公式意为给 2L+1 个向量分别加上权重稀疏系数，融合成一个向量后再乘以系数得到最终词向量。原始论文指出，这个前置系数在不同任务中取值差异较大，例如在 SQuAD 任务中设为 0.01 优于 1。维度方面，初始嵌入为 512 维，双向 LSTM 每层输出 1024 维，融合后最终向量维度为 1024。

ELMo 的预训练任务

本质思想

ELMo 的本质是利用语言模型学习单词的 word embedding。虽然初始状态无法区分多义词，但在实际使用时，根据当前上下文动态调整 embedding 表示，使其能准确表达单词在当前语境下的真实含义。

两阶段过程

第一阶段：语言模型预训练

回到总体架构，网络采用双层双向 LSTM。任务目标是预测单词 Wi，Wi 之前的序列称为上文，之后的称为下文。左侧前向编码器处理上文，右侧反向编码器处理下文，深度均为 L=2。

当输入新句子时，每个单词可获得 3 个 embedding 向量：

1. 最底层单词的 word embedding。
2. 第一层双向 LSTM 中的 embedding，侧重句法信息。
3. 第二层双向 LSTM 中的 embedding，侧重语义信息。

这一阶段不仅学会了 word embedding，还训练好了一个双层双向 LSTM 网络，两者均为后续使用的基础。

第二阶段：下游任务调整

以 QA 任务为例，将问句 X 输入预训练好的 ELMo 网络，获得每个单词的 3 个向量。赋予各自权重 a（可学习或平均），加权求和后整合成词向量，作为新特征补充进下游任务网络。回答 Y 同样处理。这类方法被称为"Feature-based Pre-Training"。

ELMo 模型的效果

ELMo 有效解决了多义词问题。对比 GloVe 训练的静态 embedding，对于多义词 play，GloVe 找出的近义集合几乎全在体育领域，受训练数据分布影响明显。而 ELMo 经过上下文动态调整后，不仅能找到对应'演出'含义的句子，还能保证词性一致，效果超出预期。

原始论文显示，ELMo 在 6 个主流 NLP 任务（如句子语义关系判断、分类、阅读理解等）中均有提升，最高达 25%。

ELMo 的待改进点

尽管相比 Word2Vec 和 GloVe 有显著提升，ELMo 仍存在局限：

1. 特征提取器选择：ELMo 使用双向双层 LSTM，而非后来的 Transformer。在特征提取能力上，LSTM 弱于 Transformer。若当时选用 Transformer，后续 BERT 的影响力或许会有所不同。
2. 特征融合方式：ELMo 采用双向拼接融合，不如 BERT 的一体化双向提取特征高效。

小结

• 定义：ELMo 是 2018 年华盛顿大学提出的预训练语言模型，在 6 种 NLP 任务中表现优异。
• 结构：采用双向双层 LSTM，包含 Embedding 层、LSTM 层及特征融合层。
• 预训练：分两阶段，先预训练语言模型获取基础向量和网络，再在下游任务中提取上下文相关特征。
• 效果：相比静态词向量，ELMo 能更好表达真实语义，解决多义词问题。
• 局限：未采用 Transformer 架构，特征提取能力弱于后续模型。