简介
Web Scraper 是一款基于浏览器的非编程爬虫工具,对新手非常友好。它屏蔽了底层的编程细节,通过鼠标点选即可快速搭建自定义爬虫。对于日常生活中的数据采集需求,掌握它通常只需半天时间。
网页结构大致可分为单页、分页列表和筛选表单三种。知乎的评论页面属于典型的滚动加载分页类型,需要配置特定的选择器来应对动态内容。
主流浏览器如 Chrome、Edge 均支持该插件,以下演示以 Edge 为例。
安装与准备
在浏览器扩展商店搜索 web scraper 并安装。安装完成后,点击图标打开面板。


核心配置步骤
1. 创建 Sitemap
进入目标帖子页面,按 F12 打开开发者工具,然后点击 Web Scraper 面板中的 Create sitemap。


输入任意名称,URL 填入当前页面链接,点击 Create sitemap。


2. 设置滚动选择器
为了抓取更多评论,需要配置滚动机制。点击 Add selector,命名为 scroll,Type 选择 Scroll。
















