几种主流词嵌入技术详解

词袋模型（BOW）

词袋（Bag of Words, BOW）是一种流行的文本词嵌入技术，其中向量中的每个值代表文档/句子中的单词数。换句话说，它从文本中提取特征。我们也称之为矢量化。

为了帮助您入门，下面介绍了如何创建 BOW 的步骤：

1. 第一步，你必须将文本标记成句子。
2. 接下来，第一步标记化的句子有进一步标记化的单词。
3. 删除所有停用词或标点符号。
4. 然后，将所有单词转换为小写。
5. 最后，创建单词的频率分布图。

BOW 代码实现

下面我们将在连续词选择袋中用适当的例子来讨论 BOW。

from sklearn.feature_extraction.text import CountVectorizer

# 示例推文
sentences = [
    "真可惜",
    "发誓果酱让世界燃烧",
    "发誓真正的车祸",
    "不幸的是，汽车着火了"
]

# 创建词袋模型
bow = CountVectorizer()
bow_matrix = bow.fit_transform(sentences)

# 查看结果
print(bow_matrix.toarray())
print(bow.get_feature_names_out())

这里的行代表每个文档（在我们的例子中为 4 个），列代表词汇表（所有文档中唯一的单词），值代表相应行的单词数。

同样，我们可以将 CountVectorizer 应用于完整的训练数据推文，并获得一个矩阵，该矩阵可与目标变量一起用于训练机器学习/深度学习模型。

Word2Vec

Word2Vec 方法由 Google 于 2013 年开发。目前，我们将该技术用于所有高级 NLP 问题。它是为了训练词嵌入而发明的，基于分布假设。

在这个假设中，它使用 skip-gram 或连续词袋（CBOW）。这些基本上是浅层神经网络，具有输入层、输出层和投影层。它通过考虑单词在历史和未来的顺序来重建单词的语言上下文。

该方法涉及对文本语料库进行迭代以学习单词之间的关联。它依赖于一个假设，即文本中的相邻单词彼此具有语义相似性。它有助于将语义相似的单词映射到几何上接近的嵌入向量。

它使用余弦相似度度量来测量语义相似度。余弦相似度等于 Cos(角度)，其中角度是在两个单词/文档的向量表示之间测量的。

• 如果余弦角为 1，则表示单词重叠（完全相似）。
• 如果余弦角是直角或者 90°，则表示单词之间没有上下文相似性，是相互独立的。

总而言之，我们可以说这个度量标准为相同的板分配了相似的向量表示。

Word2Vec 的两种变体

Word2Vec 有两种基于神经网络的变体：连续词袋（CBOW）和 Skip-gram。

1. CBOW（连续词袋）

连续词袋变体包括所采用的各种输入。由此，它可以预测与作为输入的不同单词的上下文密切相关的目标单词。它是一种快速且很好的方法，可以为经常出现的单词找到更好的数字表示。

在 CBOW 中，我们定义一个窗口大小。中间的单词是当前单词，周围的单词（过去和未来的单词）是上下文。CBOW 利用上下文来预测当前单词。每个单词都使用定义的词汇表中的 One Hot Encoding 进行编码，然后发送到 CBOW 神经网络。

隐藏层是标准的全连接密集层。输出层根据词汇表生成目标词的概率。

2. Skip-gram

Skip-gram 是一种与 CBOW 略有不同的词嵌入技术，因为它不根据上下文预测当前单词。相反，每个当前单词与连续投影层一起用作对数线性分类器的输入。这样，它可以预测当前单词前后一定范围内的单词。

这个变体只接受一个单词作为输入，然后预测与之密切相关的上下文单词。这就是它能够有效表示稀有词的原因。

Word2Vec（两种变体）的最终目标是学习隐藏层的权重。隐藏的结果将用作我们的词嵌入！

Word2Vec 代码示例

from gensim.models import Word2Vec
import nltk
import re
from nltk.corpus import stopwords

# 导入库
# from gensim.models import Word2Vec
# import nltk
# import re
# from nltk.corpus import stopwords

# 预处理文本
# Word2Vec inputs a corpus of documents split into constituent words.
corpus = []
for i in range(0, len(X)):
    tweet = re.sub("[^a-zA-Z]", " ", X[i])
    tweet = tweet.lower()
    tweet = tweet.split()
    corpus.append(tweet)

# 训练模型
model = Word2Vec(corpus, vector_size=100, window=5, min_count=1, workers=4)

# 查找最相似的词
similar_words = model.wv.most_similar('disaster')
print(similar_words)

# 获取嵌入向量
disaster_vector = model.wv['disaster']
print(disaster_vector)

词袋模型和 TF-IDF 面临的挑战

现在让我们讨论一下迄今为止讨论过的两种文本矢量化技术所面临的挑战。

在 BOW 中，向量的大小等于词汇表中元素的数量。如果向量中的大多数值为零，则词袋将是一个稀疏矩阵。稀疏表示更难建模，这既出于计算原因，也出于信息原因。

此外，BOW 缺乏有意义的关系，也没有考虑单词的顺序。以下是此词嵌入技术的更多挑战：

• 大量权重：大量输入向量会为神经网络带来大量权重。
• 没有有意义的关系或对词序的考虑：词袋不考虑单词在句子或文本中出现的顺序。
• 计算密集型：重量越大，需要更多的计算来训练和预测。

TF-IDF 模型虽然包含了比较重要的词语和不太重要的词语的信息，但是它并没有解决高维性和稀疏性的难题，而且与 BOW 不同，它也没有利用词语之间的语义相似性。

GloVe：用于词语表示的全局向量

NLP 中的 GloVe 词嵌入方法由斯坦福大学的 Pennington 等人开发。它被称为全局向量，因为模型直接捕获了全局语料库统计数据。它在世界类比和命名实体识别问题中表现出色。

该技术降低了训练模型的计算成本，因为最小二乘成本或误差函数更简单，从而进一步产生了不同的、改进的词嵌入。它利用局部上下文窗口方法（如 Mikolov 的 skip-gram 模型）和全局矩阵分解方法来生成低维词表示。

潜在语义分析 (LSA) 是一种全局矩阵分解方法，它在世界类比方面表现不佳，但利用了指示次优向量空间结构的统计信息。

相反，Skip-gram 方法在类比任务上表现更好。然而，由于没有对全局共现计数进行训练，它没有充分利用语料库的统计数据。

因此，与使用局部上下文创建词向量的 Word2Vec 不同，GloVe 专注于全局上下文来创建词向量，这使其比 Word2Vec 更具优势。在 GloVe 中，单词之间的语义关系是使用共现矩阵获得的。

共现矩阵原理

考虑两句话：

• 我是一名数据科学爱好者
• 我正在寻找数据科学工作

对于上面的句子，GloVe 中涉及的共现矩阵如下所示。该矩阵中的每个值代表与行/列中相应单词共现的次数。请注意，该共现矩阵是使用全局单词共现计数（单词连续出现的次数；窗口大小=1）创建的。如果文本语料库有 1m 个唯一单词，则共现矩阵的形状为 1m x 1m。GloVe 背后的核心思想是，单词共现是模型'学习'单词表示的最重要统计信息。

概率比率

现在让我们看一个斯坦福大学 GloVe 论文中的例子，了解共现概率比率在 GloVe 中的工作原理。例如，考虑目标词 ice 和 steam 与词汇表中各种探测词的共现概率。

这里，假设 k = solid，即与 ice 相关但与 steam 无关的单词。预期的 Pik /Pjk 比率将很大。同样，对于与 steam 相关但与 ice 无关的单词 k，例如 k = gas，比率将很小。对于 water 或 fashion 等与 ice 和 steam 都相关或与两者都不相关的单词，比率应该约为 1。

与原始概率相比，概率比能够更好地区分相关词（固体和气体）和不相关词（时尚和水）。它还能够更好地区分两个相关词。因此，在 GloVe 中，词向量学习的起点是共现概率的比率，而不是概率本身。

GloVe 代码示例

import nltk
import re
from nltk.corpus import stopwords
from glove import Corpus, Glove

# 导入库
# import nltk
# import re
# from nltk.corpus import stopwords
# from glove import Corpus, Glove

# 文本预处理
# GloVe 输入一个文档语料库，将其拆分成组成单词
corpus = []
for i in range(0, len(X)):
    tweet = re.sub("[^a-zA-Z]", " ", X[i])
    tweet = tweet.lower()
    tweet = tweet.split()
    corpus.append(tweet)

# 训练词向量
corpus_obj = Corpus()
corpus_obj.fit(corpus, window=5)
glove_model = Glove(no_components=100, learning_rate=0.05)
# no_components = 词嵌入的维数 = 100
glove_model.fit(corpus.matrix, epochs=100, no_threads=4, verbose=True)
glove_model.add_dictionary(corpus.dictionary)

# 查找最相似的
top_words = glove_model.most_similar("storm", num=10)
print(top_words)

BERT（来自 transformer 的双向编码器表示）

BERT（Bidirectional Encoder Representations from Transformers）是一种基于自然语言处理 (NLP) 的语言算法，属于 Transformer 类。它有两种变体，即包含 1.1 亿个参数的 BERT-Base 和具有 3.4 亿个参数的 BERT-Large。

它依靠注意力机制来生成具有语境的高质量词嵌入。因此，当嵌入经过训练过程时，它们会通过每个 BERT 层，以便其注意力机制能够根据左侧单词和右侧单词捕捉单词关联。与传统的单向语言模型不同，BERT 同时考虑了左右两侧的上下文信息，这使得它能够更好地理解多义词和复杂的句法结构。

与上面讨论的相比，这是一种先进的技术，因为它可以创建更好的词嵌入。这要归功于维基百科数据集和海量词库上的预训练模型。通过微调嵌入，可以针对特定任务的数据集进一步改进此技术。

它在语言翻译任务、问答系统、情感分析等方面有着广泛的应用。BERT 的核心创新在于掩码语言模型（Masked Language Model, MLM）和下一句预测（Next Sentence Prediction, NSP）任务，这使得模型能够学习到深度的双向上下文表示。

结论

词嵌入可以训练 GRU、LSTM 和 Transformers 等深度学习模型，这些模型在情绪分类、名称实体识别、语音识别等 NLP 任务中取得了成功。

这是一份最终回顾清单：

• 词袋模型（BOW）：从文本中提取特征，简单直观，但忽略词序。
• TF-IDF：信息检索，关键词提取，适合传统机器学习。
• Word2Vec：语义分析任务，速度快，适合大规模语料。
• GloVe：词语类比、命名实体识别任务，结合全局统计与局部窗口。
• BERT：语言翻译、问答系统，基于 Transformer 架构，性能最强。

在这篇文章中，我们讨论了 NLP 中的多种向量化技术：词袋和 TF-IDF，它们的缺点，以及 GloVe 和 Word2Vec 等词嵌入技术如何通过降维和上下文相似性克服其缺点。BERT 的出现更是将词嵌入推向了动态上下文表示的新高度。通过以上所述，您将更好地理解词嵌入如何使您的日常生活受益，并为后续深入学习大模型打下基础。