本文详细探讨了五种情感分类方法在 Flipkart 客户评论数据集上的应用与对比。内容涵盖从传统的 TF-IDF 结合逻辑回归，到利用预训练嵌入（如 MiniLM）的特征提取，再到无需标记数据的零样本分类，以及基于 Flan-T5 的生成模型和特定任务微调模型。文章提供了完整的数据预处理、模型训练及评估代码，分析了各方法在准确率、计算效率和数据需求方面的权衡。结果显示，预训练嵌入方法在速度与精度间取得了良好平衡，而任务特定模型在精度上表现最优，为零样本场景提供了可行方案。
本文重点讨论来自 Flipkart 客户评论数据集的产品评论情感分析。
情感分析是自然语言处理（NLP）中的一项关键任务，旨在将文本分类为积极、消极或中性情感。它使企业能够从客户反馈中获得洞察。
我们的目标是探索和比较多种二元情感分类方法，评估它们的性能和计算效率。
这些方法从传统方法到利用嵌入和生成模型的先进技术不等。
一些方法需要标记数据，而有些方法则完全不需要。
情感分析使企业能够：
该项目利用广泛的自然语言处理技术，展示如何将各种方法应用于情感分析，每种方法都针对特定的用例和资源限制进行调整。
all-MiniLM-L6-v2，生成用于训练分类器的语义表示。Flan-T5，它通过根据提示生成响应来对文本进行分类。juliensimon/reviews-sentiment-analysis，以实现领域特定的性能。在开始之前，请确保已安装所有必要的依赖项。
# 安装所需包
!pip install datasets transformers sentence-transformers pandas scikit-learn tqdm
导入必要的库：
import pandas as pd
import numpy as np
from tqdm import tqdm
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
Flipkart 客户评论数据集由两个主要列组成：
review: 客户关于产品提供的文本评论。rating: 客户给出的数字评分（星级），范围从 1 到 5。rating 列表示客户为产品分配的星级数量。较高的值表示更有利的评论。
为了简化我们的分析，我们将根据 rating 创建一个新列 label：
rating >= 4（例如，4 星或 5 星）rating < 4（例如，1 或 2 星）这个预处理步骤将帮助我们专注于评论中的明确情感极性（积极和消极）。
data = pd.read_csv('data.csv')
data = data[data["rating"]!=3]
data["label"] = data["rating"].apply(lambda x: 1 if x >= 4 else 0)
print(data["label"].value_counts())
为了这个例子的目的，我们将对正类进行下采样，以匹配负类的大小。
这确保了数据集的平衡，避免了由于类别不平衡导致的模型训练偏差。
这也确保了更快的计算时间，因为我们处理的数据量更少。
### Down-sample the positive class and combine with the negative class
data = pd.concat([
data[data["label"] == 1].sample(n=len(data[data["label"] == 0]),
random_state=1),
data[data["label"] == 0]
])
### Shuffle the resulting dataset
data = data.sample(frac=1, random_state=1).reset_index(drop=True)
我们将数据分为 80% 的训练集和 20% 的测试集。
train = data[:int(0.8*len(data))]
test = data[int(0.8*len(data)):].reset_index(drop=True)
首先，在尝试任何复杂的方法之前，我们将为我们的二分类任务采用简单的逻辑回归。
为了将文本数据以数字形式表示，我们将使用 TF-IDF (词频 - 逆文档频率)，这是一种流行的文本数据特征提取技术。
TF-IDF 衡量一个术语在文档中的重要性，相对于整个语料库，提供加权表示，增强独特和信息丰富的单词的影响，同时减少常见单词的权重。
简单性和可解释性：
基准性能：
效率：
经过验证的有效性：
迭代工作流程：
### Features and labels
X_train = train['review']
y_train = train['label']
X_test = test['review']
y_test = test['label']
### Convert text data into numerical features using TfidfVectorizer
tfidf_vectorizer = TfidfVectorizer()
X_train_tfidf = tfidf_vectorizer.fit_transform(X_train)
X_test_tfidf = tfidf_vectorizer.transform(X_test)
### Logistic Regression Model
model = LogisticRegression(random_state=1)
model.fit(X_train_tfidf, y_train)
### Predictions
y_pred = model.predict(X_test_tfidf)
### Classification Report
print("Classification Report:")
print(classification_report(y_test, y_pred))
在本实验中，我们将利用预训练的嵌入模型进行特征提取，并使用这些嵌入来训练一个轻量级分类器进行二分类。
这种两步法使我们能够利用先进嵌入模型的强大功能，而无需进行微调，从而提高计算效率并使其更易于访问。
特征提取：
sentence-transformers/all-MiniLM-L6-v2）将文本输入转换为数值嵌入。训练分类器：
评估：
sentence-transformers/all-MiniLM-L6-v2 模型是一个高效且多功能的嵌入模型，平衡了性能和计算要求，使其成为许多文本处理任务的理想选择。
all-mpnet-base-v2 等更大模型，它更小更快。all-MiniLM-L6-v2 生成嵌入非常高效，即使在 CPU 上也能快速处理文本，适合需要实时或大规模嵌入计算的任务。all-mpnet-base-v2 等模型的 768 维更紧凑。这些较小的嵌入减少了内存需求，并提高了下游任务的速度。我们将首先使用 all-mpnet-base-v2 来比较其与 all-MiniLM-L6-v2 的性能和速度。
from sentence_transformers import SentenceTransformer
### Load model
model = SentenceTransformer('sentence-transformers/all-mpnet-base-v2')
### Convert text to embeddings
train_embeddings = model.encode(train['review'], show_progress_bar=True)
test_embeddings = model.encode(test['review'], show_progress_bar=True)
### Logistic Regression Model
clf = LogisticRegression(random_state=1)
clf.fit(train_embeddings, y_train)
### Predictions
y_pred = clf.predict(test_embeddings)
### Classification Report
print("Classification Report (MPNet):")
print(classification_report(y_test, y_pred))
我们在大约 7 分钟内获得了 0.86 的准确率。现在我们将使用 all-MiniLM-L6-v2。
### Load model
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
### Convert text to embeddings
train_embeddings = model.encode(train['review'], show_progress_bar=True)
test_embeddings = model.encode(test['review'], show_progress_bar=True)
### Logistic Regression Model
clf = LogisticRegression(random_state=1)
clf.fit(train_embeddings, y_train)
### Predictions
y_pred = clf.predict(test_embeddings)
### Classification Report
print("Classification Report (MiniLM):")
print(classification_report(y_test, y_pred))
我们在大约 1 分钟内获得了 0.86 的 F1 分数。速度更快，且没有损失性能。
在本实验中，我们将探讨零样本分类，这是一种允许我们在没有任何标记训练数据的情况下执行分类任务的技术。
该方法利用嵌入和余弦相似度将输入文本与预定义的标签描述进行匹配，从而实现无需资源密集型标记工作的分类。
定义标签：为标签创建描述，例如：
嵌入文档和标签：使用预训练模型（例如，sentence-transformers）生成以下内容的嵌入：
余弦相似度：
评估：
### Step 1: Create embeddings for the label and test data
### Load model
model = SentenceTransformer('sentence-transformers/all-mpnet-base-v2')
label_descriptions = ["A negative review", "A positive review"]
label_embeddings = model.encode(label_descriptions)
test_embeddings = model.encode(test['review'], show_progress_bar=True)
### Step 2: Calculate cosine similarity between document and label embeddings
from sklearn.metrics.pairwise import cosine_similarity
similarity_matrix = cosine_similarity(test_embeddings, label_embeddings)
### Assign the label with the highest similarity score to each document
y_pred = np.argmax(similarity_matrix, axis=1)
### Step 3: Evaluate the model's performance
print("Classification Report (Zero-Shot):")
print(classification_report(y_test, y_pred))
我们在没有训练数据的情况下获得了令人印象深刻的 0.78 准确率！
我们使用了 all-mpnet-base-v2，而 all-MiniLM-L6-v2 仅获得了 0.66 的准确率，在处理负面评论时遇到了困难。
在本实验中，我们将探索如何使用生成语言模型进行文本分类。
与传统的预测数值的分类模型不同，生成模型如Flan-T5生成文本响应，我们将其映射到数值以进行评估。
模型选择：
text2text-generation 任务加载。flan-t5-small 开始，以便更快地进行实验，并根据需要扩展到更大的版本（例如，base、large、xl、xxl）。提示工程：
Is the following review positive or negative?
数据准备：更新数据集以包括前缀文本：
"t5"。推断：
"positive" 或 "negative"），并将其转换为数值标签（例如，正面为 1，负面为 0）。评估：
指令调优的生成能力：
灵活性：
预训练的多样性：
from datasets import Dataset
from transformers import pipeline
from transformers.pipelines.pt_utils import KeyDataset
### Add a prompt column
prompt = "Is the following review positive or negative? "
test['t5'] = prompt + test['review']
### Convert pandas DataFrame to datasets.Dataset for compatibility with Hugging Face pipeline
dataset = Dataset.from_pandas(test)
### Load model
pipe = pipeline(
task="text2text-generation",
model="google/flan-t5-small",
device=0 # Set to -1 for CPU, 0 for GPU
)
### Run inference on the test set
y_pred = []
for output in tqdm(pipe(KeyDataset(dataset, key="t5"))):
generated_text = output[0]["generated_text"]
# Map textual output to numerical labels
y_pred.append(0 if generated_text == "negative" else 1)
print("Classification Report (Flan-T5):")
print(classification_report(y_test, y_pred))
在这个实验中，我们将使用一个任务特定表示模型进行情感分类。
具体来说，我们将利用预训练的 juliensimon/reviews-sentiment-analysis 模型，该模型经过微调，专门用于对产品评论进行情感分析，以将产品评论分类为正面或负面。
模型加载：
transformers.pipeline 加载预训练模型及其分词器。推理：
评估：
model_path = "juliensimon/reviews-sentiment-analysis"
### Load model into pipeline
pipe = pipeline(
model=model_path,
tokenizer=model_path,
device=0
)
### Run inference on the test set
y_pred = []
for output in tqdm(pipe(KeyDataset(dataset, key="review"))):
label = output["label"]
# Map textual output to numerical labels
y_pred.append(0 if "0" in label else 1)
print("Classification Report (Task-Specific):")
print(classification_report(y_test, y_pred))
本项目突出了每种方法的优缺点，为将情感分析技术应用于实际数据集提供了全面的指南。
| 方法 | 准确率 | 训练时间 | 推理速度 | 数据需求 |
|---|---|---|---|---|
| TF-IDF + LR | ~0.80 | 极快 | 极快 | 有标签 |
| Embedding + LR | ~0.86 | 中等 | 快 | 有标签 |
| Zero-Shot | ~0.78 | 无 | 中等 | 无标签 |
| Flan-T5 | ~0.85 | 慢 | 慢 | 有标签/无标签 |
| Task-Specific | ~0.90+ | 无 | 快 | 有标签 |
在实际应用中，建议先建立 TF-IDF 基线，然后根据业务需求（精度 vs 速度 vs 成本）逐步迁移到更复杂的模型。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online