StructBERT WebUI 实战：万级评论去重脚本实现

3. 核心代码：remove_duplicates 函数详解

3.1 完整代码实现

import requests
import time

def remove_duplicates(comments, threshold=0.85, delay=0.1):
    """
    基于 StructBERT 语义相似度去除重复评论
    参数：
        comments: list - 评论列表
        threshold: float - 相似度阈值，默认 0.85
        delay: float - 请求间隔，默认 0.1 秒
    返回：
        list - 去重后的评论列表
    """
    url = "http://127.0.0.1:5000/similarity"
    unique_comments = []
    total = len(comments)
    print(f"开始处理 {total} 条评论...")

    for i, comment in enumerate(comments):
        if i % 10 == 0:
            print(f"处理进度：{i}/{total} ({i/total*100:.1f}%)")

        is_duplicate = False
        for existing in unique_comments:
            try:
                response = requests.post(url, json={
                    "sentence1": comment,
                    "sentence2": existing
                })
                similarity = response.json()['similarity']
                if similarity >= threshold:
                    is_duplicate = True
                    print(f" 发现重复 [{similarity:.2f}]:")
                    print(f" 原文：{existing}")
                    print(f" 重复：{comment}")
                    break
            except Exception as e:
                print(f" 计算相似度时出错：{e}")
                continue

        if not is_duplicate:
            unique_comments.append(comment)

        time.sleep(delay)

    print(f"处理完成！原始评论数：{total}，去重后：{len(unique_comments)}")
    print(f"去重率：{(1 - len(unique_comments)/total)*100:.1f}%")
    return unique_comments

3.2 代码解析

• 参数设置：threshold 控制敏感度，delay 防止请求过快。
• 进度显示：每 10 条打印一次进度。
• API 调用：POST 请求发送两句文本获取相似度分数。
• 错误处理：捕获网络异常，避免程序中断。

3.3 使用方法

unique_comments = remove_duplicates(comments)
for i, c in enumerate(unique_comments, 1):
    print(f"{i}. {c}")

4. 实战演示

运行脚本后输出示例：

开始处理 20 条评论...
处理进度：0/20 (0.0%)
发现重复 [0.92]:
 原文：这个产品非常好用，推荐购买
 重复：这个产品很好用，强烈推荐
...
处理完成！原始评论数：20，去重后：14
去重率：30.0%

结果分析：识别出 6 条语义重复内容，节省约 30% 存储空间。

5. 高级技巧

5.1 批量处理优化

使用批量接口减少网络请求次数：

def remove_duplicates_batch(comments, threshold=0.85, batch_size=10):
    url = "http://127.0.0.1:5000/batch_similarity"
    unique_comments = []
    for i, comment in enumerate(comments):
        if not unique_comments:
            unique_comments.append(comment)
            continue
        for j in range(0, len(unique_comments), batch_size):
            batch = unique_comments[j:j+batch_size]
            try:
                response = requests.post(url, json={
                    "source": comment,
                    "targets": batch
                })
                results = response.json()['results']
                max_sim = max(item['similarity'] for item in results)
                if max_sim >= threshold:
                    break
            except Exception as e:
                continue
        else:
            unique_comments.append(comment)
    return unique_comments

5.2 文本预处理

清洗特殊字符和多余空格：

import re

def clean_comment(comment):
    comment = ' '.join(comment.split())
    comment = re.sub(r'[^\w\s\u4e00-\u9fff，。！？；：""''、]', '', comment)
    return comment

5.3 动态阈值调整

根据评论长度动态设定阈值：

def dynamic_threshold(comment):
    length = len(comment)
    if length < 10:
        return 0.9
    elif length < 20:
        return 0.85
    else:
        return 0.8

5.4 保存和加载进度

支持断点续传：

import json
import os

def save_progress(comments, processed_indices, filename="progress.json"):
    progress = {
        "all_comments": comments,
        "processed": processed_indices,
        "timestamp": time.time()
    }
    with open(filename, 'w', encoding='utf-8') as f:
        json.dump(progress, f, ensure_ascii=False, indent=2)

6. 实际应用场景扩展

• 新闻去重：比较新闻标题相似度。
• 商品描述去重：合并相似商品条目。
• 问答对去重：合并相同问题的回答。

7. 常见问题与解决方案

7.1 处理速度慢

• 使用批量接口。
• 适当增加延迟避免限流。
• 考虑多线程（注意并发限制）。

7.2 阈值设置建议

• 严格去重：0.9-0.95
• 一般评论：0.85-0.9
• 宽松去重：0.75-0.85

7.3 内存不足

• 分批读取文件。
• 使用生成器流式处理。

7.4 服务不稳定

• 添加重试机制。
• 定期保存进度。

8. 总结

本文介绍了利用 StructBERT WebUI 接口结合 Python 脚本实现大规模评论语义去重的方案。核心在于调用相似度 API 替代传统字符串匹配，通过调整阈值、批处理及异常处理机制，可灵活应用于多种文本清洗场景。该方法能有效识别语义重复内容，显著降低存储成本并提升数据质量。