Python 爬虫实战：爬取苏宁商品评论（好评与差评）

3.2 基础版代码的问题

1. API 废弃：新版 Selenium 中 find_elements_by_xpath() 已被移除，需改用 find_elements(By.XPATH, '路径')。
2. 缺少等待机制：固定 time.sleep(1) 可能不够，导致找不到元素。
3. 文件操作不规范：未使用 with 语句，报错时文件可能未关闭；未指定编码，中文可能乱码。
4. 资源未清理：未关闭浏览器驱动，残留进程。
5. 路径不兼容：固定路径可能导致部分电脑运行失败。

3.3 完整版代码

针对上述问题优化后的代码：

''' 爬取苏宁商品评论（好评）- 完整版 '''
from selenium import webdriver
from selenium.webdriver.edge.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
import os

# ===================== 第一步：初始化浏览器驱动 =====================
def init_edge_driver():
    chrome_options = Options()
    # 自动检测 Edge 浏览器路径
    edge_paths = [
        r"C:\Program Files (x86)\Microsoft\Edge\Application\msedge.exe",
        r"C:\Program Files\Microsoft\Edge\Application\msedge.exe"
    ]
    for path in edge_paths:
        if os.path.exists(path):
            chrome_options.binary_location = path
            break
    # 添加防检测配置
    chrome_options.add_experimental_option("excludeSwitches", ["enable-automation"])
    chrome_options.add_experimental_option('useAutomationExtension', False)
    # 创建驱动对象 + 设置隐式等待
    driver = webdriver.Edge(options=chrome_options)
    driver.implicitly_wait(10)
    return driver

# ===================== 第二步：核心爬取逻辑 =====================
if __name__ == "__main__":
    driver = init_edge_driver()
    print("浏览器已启动...")
    review_url = 'https://review.suning.com/cluster_cmmdty_review/cluster-38249278-000000012389328846-0000000000-1-good.htm?originalCm'
    driver.get(review_url)
    print(f"已打开网页：{review_url}")

    with open('优质评价.txt', 'w', encoding='utf-8') as yzpj_file:
        def get_comment_content(file):
            WebDriverWait(driver, 10).until(
                EC.presence_of_all_elements_located((By.CLASS_NAME, 'body-content'))
            )
            comment_elements = driver.find_elements(By.CLASS_NAME, 'body-content')
            for element in comment_elements:
                content = element.text.strip()
                if content:
                    file.write(content + '\n\n')
                    print(f"已抓取评论：{content[:50]}...")

        print("开始抓取第一页评论...")
        get_comment_content(yzpj_file)

        page_num = 2
        while True:
            try:
                next_button = WebDriverWait(driver, 5).until(
                    EC.element_to_be_clickable((By.XPATH, '//*[@class="next rv-maidian "]'))
                )
                print(f"正在跳转到第{page_num}页...")
                next_button.click()
                time.sleep(2)
                get_comment_content(yzpj_file)
                page_num += 1
            except:
                print("已爬取完所有页面！")
                break

    print("开始关闭浏览器...")
    driver.quit()
    print("爬取完成！评论已保存到「优质评价.txt」文件中。")

四、功能扩展：爬取差评

差评爬取只需修改目标 URL 和输出文件名，核心逻辑一致。

4.1 关键改动

1. 目标 URL：替换为差评 URL（URL 中包含 -bad.htm）。
2. 输出文件：将 优质评价.txt 改为 差评.txt。
3. 变量名：从 yzpj_file 改为 bad_comment_file。

五、常见问题解决

问题 1：运行代码时提示'找不到 Python'

• 原因：安装时未勾选'Add Python to PATH'。
• 解决：重新安装 Python 并勾选该选项。

问题 2：爬取的文件为空 / 只有部分评论

• 原因：页面加载不完整或元素定位失败。
• 解决：增加 time.sleep 时间，检查 class 名称，确保网络通畅。

问题 3：中文乱码

• 原因：文件写入时未指定编码。
• 解决：确保 open(...) 中包含 encoding='utf-8'。

问题 4：浏览器打开后立即关闭

• 原因：代码执行完成后调用了 driver.quit()。
• 解决：这是正常现象，如需保留可注释掉该行（但不推荐）。

六、进阶思考

爬取到评论后，可进行更多分析：

1. 词云分析：用 jieba 库分词，生成词云。
2. 情感分析：用 snownlp 分析情感倾向。
3. 数据可视化：用 matplotlib 绘制对比图。
4. 批量爬取：循环爬取多个商品做竞品分析。

七、注意事项

1. 遵守规则：查看网站 robots.txt 文件。
2. 控制速度：避免频繁请求给服务器造成压力。
3. 仅用于学习：请勿用于商业用途或恶意爬取。
4. IP 封禁：频繁爬取可能被封禁 IP，可适当增加等待或使用代理。

总结

本文讲解了使用 Python+Selenium 爬取苏宁商品评论的全过程。核心要点包括：动态页面优先选择 Selenium；基础版代码存在废弃 API、缺少等待、文件操作不规范等问题，优化后可提升稳定性；爬取好评/差评逻辑一致；开发需注意等待机制和资源清理。