
ELMo 模型详解:上下文感知词向量表示技术
综述由AI生成ELMo 是由华盛顿大学提出的预训练语言模型,全称 Embeddings from Language Models。它利用双向 LSTM 网络生成上下文相关的词向量,有效解决了传统静态词向量无法区分多义词的问题。模型架构包含字符级 CNN 编码、双层双向 LSTM 及多层特征融合模块。预训练采用两阶段策略:先训练语言模型获取基础权重,再在下游任务中提取各层 Embedding 作为特征补充。实验表明 ELMo 在多个 NLP 任务中性能…














