IMDB 情感分类实战：Word2Vec + 逻辑回归完整解析

• 数据划分：

data/ └── imdb/
    ├── imdb_train.csv # 25,000 条训练样本
    └── imdb_test.csv # 25,000 条测试样本

四、项目结构

Word2Vec/
├── data/
│   └── imdb/
│       ├── imdb_train.csv
│       └── imdb_test.csv
├── models/ # 训练好的模型
├── src/
│   └── imdb_word2vec.py # 主程序
└── docs/
    └── IMDB 情感分类实战.md

这种结构便于 数据、代码和文档解耦，也更符合真实工程实践。

五、核心代码解析

5.1 数据加载

def load_data(train_path: str, test_path: str):
    """加载训练集与测试集"""
    train_df = pd.read_csv(train_path)
    test_df = pd.read_csv(test_path)
    return train_df, test_df

逻辑非常直接：分别读取训练集和测试集，返回 DataFrame 供后续处理。

5.2 文本预处理（分词 + 去停用词）

文本预处理是 NLP 的第一步，其目标是降低噪声、统一输入形式。

from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords

stop_words = set(stopwords.words("english"))

def tokenize_text(text_series):
    return text_series.progress_apply(lambda x: [
        word for word in word_tokenize(x.lower()) if word not in stop_words
    ])

• 示例：

输入："This movie is great! I really enjoyed it."
输出：['movie', 'great', '!', 'really', 'enjoyed', '.']

• 说明：
  • 全部转为小写，减少词表规模
  • 去除停用词（the / is / a 等）以降低无信息噪声

5.3 训练 Word2Vec 模型

def train_word2vec_model(tokens, vector_size=100, window=5, min_count=5, sg=1, workers=4, epochs=5):
    model = Word2Vec(
        sentences=tokens,
        vector_size=vector_size,
        window=window,
        min_count=min_count,
        sg=sg,
        workers=workers,
        epochs=epochs
    )
    return model

本实验中使用的关键参数如下：

5.4 句子向量化方法

Word2Vec 只能生成词向量，但分类器需要的是句子级特征。

最简单、也最常用的方法是 词向量平均： $$ \vec{s} = \frac{1}{n} \sum_{i=1}^{n} \vec{w_i} $$

def sentence_to_vec(tokens, model, vector_size=100):
    """将句子转换为词向量的平均值"""
    vecs = [model.wv[word] for word in tokens if word in model.wv]
    if len(vecs) == 0:
        return np.zeros(vector_size)  # 处理全部 OOV 的情况
    return np.mean(vecs, axis=0)

• 其中，w2v_model.wv 返回的是一个 KeyedVectors 对象，它只负责'词 → 向量'的查询与相似度计算，不包含训练相关内容。
• 注意：
  • 该方法会丢失词序信息，因此表达能力有限，但胜在简单、稳定、易解释。
  • "我喜欢你"和"你喜欢我"的向量相同。
  • 更好的方法包括 TF-IDF 加权平均、Doc2Vec、或使用 RNN/Transformer。

5.5 Embedding 映射：构建特征矩阵

这一步是连接 Word2Vec 和分类器的关键桥梁—将所有文本转换为统一格式的特征矩阵，供机器学习模型使用。

(1) 整体流程

(2) 数据维度变化

(3) 代码实现

# 将所有句子转换为向量，堆叠成特征矩阵
X_train = np.vstack([sentence_to_vec(t, w2v_model, vector_size) for t in train_df["tokens"]])
X_test = np.vstack([sentence_to_vec(t, w2v_model, vector_size) for t in test_df["tokens"]])
print(X_train.shape)  # (25000, 300)
print(X_test.shape)   # (25000, 300)

# 标签
y_train = train_df["label"]  # (25000,)
y_test = test_df["label"]    # (25000,)

(4) 映射示例

# 单条评论的映射过程
text = "This movie is great!"
tokens = ['movie', 'great', '!']  # 分词后（已去停用词）

# 查询每个词的向量
movie_vec = w2v_model.wv['movie']  # shape: (300,)
great_vec = w2v_model.wv['great']  # shape: (300,)
# '!' 不在词汇表中，跳过

# 取平均得到句子向量
sentence_vec = np.mean([movie_vec, great_vec], axis=0)  # shape: (300,)

经过这一步，我们得到了：

• X_train: (25000, 300) 的特征矩阵，每行是一条评论的向量表示
• y_train: (25000,) 的标签数组，0 或 1

这正是 scikit-learn 等机器学习库所需要的标准输入格式。

5.6 逻辑回归分类器

有了特征矩阵 X 和标签 y，就可以使用任意分类器进行训练。这里选择逻辑回归作为分类器：

(1) 为什么选择逻辑回归？

(2) 代码实现

from sklearn.linear_model import LogisticRegression

def train_model(X_train, y_train):
    """训练逻辑回归分类器"""
    clf = LogisticRegression(max_iter=1000)
    clf.fit(X_train, y_train)
    return clf

• 核心思想：两者各司其职，组成完整的文本分类 pipeline。
  • Word2Vec 负责「特征提取」——将文本转换为捕捉语义信息的向量；
  • 逻辑回归负责「分类决策」——根据这些向量判断情感极性。

5.7 模型评估

from sklearn.metrics import accuracy_score, classification_report

def evaluate_model(clf, X_test, y_test):
    """评估模型性能"""
    y_pred = clf.predict(X_test)
    acc = accuracy_score(y_test, y_pred)
    report = classification_report(y_test, y_pred)
    return acc, report

六、运行流程

完整的执行流程如下：

1. 加载数据
   ├── 读取 imdb_train.csv（25,000 条）
   └── 读取 imdb_test.csv（25,000 条）
2. 文本预处理
   ├── 分词（word_tokenize）
   └── 去除停用词
3. 训练 Word2Vec
   ├── 输入：分词后的训练集
   ├── 输出：词向量模型
   └── 保存模型到 models/ 目录
4. 句子向量化
   ├── 训练集 → X_train (25000, 300)
   └── 测试集 → X_test (25000, 300)
5. 训练逻辑回归
   └── 输入 X_train, y_train
6. 评估模型
   └── 在测试集上计算准确率和分类报告

运行命令：

python src/imdb_word2vec.py

七、总结

本文以 IMDB 电影评论情感分类为例，完整演示了 Word2Vec + 逻辑回归 在文本分类任务中的实际应用流程。从原始文本出发，经过分词、去停用词、词向量训练、句子向量构建，最终完成情感预测，形成了一条清晰、可复现的 NLP 处理链路。

在该方案中，Word2Vec 负责将文本映射到语义向量空间，逻辑回归负责基于这些向量进行分类决策。两者分工明确，使得整个模型结构简单、训练高效，也非常适合作为文本分类任务的 baseline。

需要注意的是，词向量平均的方法会丢失词序和词重要性信息，因此模型性能存在一定上限。实际应用中，可以通过 TF-IDF 加权平均、Doc2Vec 或引入更复杂的深度模型来进一步提升效果。

总体而言，这一实战的核心价值在于帮助理解：文本是如何一步步转化为模型可学习的数值特征的。掌握这一过程，对后续学习更复杂的 NLP 模型具有重要意义。