使用 Web Scraper 插件爬取知乎评论数据

简介

Web Scraper 是一款对新手友好的浏览器扩展，无需编程基础即可快速搭建自定义爬虫。本文以知乎评论数据抓取为例，演示如何通过鼠标点选配置 Sitemap、选择器及滚动加载策略，实现网页数据采集。

安装教程

1. 打开 Chrome、Edge 或 Firefox 浏览器扩展商店。
2. 搜索 "Web Scraper" 并安装。
3. 安装完成后点击浏览器工具栏图标进入插件界面。

使用教程

1. 创建 Sitemap

1. 打开目标知乎帖子页面。
2. 按 F12 打开开发者工具。
3. 在 Web Scraper 面板中点击 "Create Sitemap"。
4. 输入名称（如 Zhihu_Comments），URL 填入当前页面链接。
5. 点击 "Create Sitemap" 保存。

2. 配置选择器

滚动加载处理

1. 点击 "Add Selector"。
2. ID 自定义，Type 选择 "Element"。
3. 勾选 "Scroll" 选项，设置延迟时间（如 2000ms）。
4. 点击 "Select" 选中页面向下滑动区域。
5. 保存配置。

内容提取

1. 再次点击 "Add Selector"。
2. ID 自定义，Type 选择 "Text"。
3. 点击 "Select" 选中评论内容框。
4. 按住 Shift 键点击下一个评论项，自动选中所有同类元素。
5. 保存配置。
6. 可添加其他字段（如点赞数、评论数）。

3. 预览与抓取

1. 点击 "Data Preview" 检查抓取效果。
2. 确认无误后点击 "Start" 开始执行。
3. 插件将自动向下滚动并抓取数据。
4. 任务结束后点击 "Export Data" 导出结果（支持 CSV/JSON 格式）。

总结

Web Scraper 适合非编程背景用户快速完成日常网页数据采集任务。相比 Python 爬虫，其学习成本更低，能显著提升工作效率。通过合理配置选择器和滚动策略，可应对大部分静态及动态加载的网页数据需求。