一、工具简介
Web Scraper 是一款基于浏览器的无代码爬虫工具,对新手非常友好。它屏蔽了底层的编程细节,只需通过鼠标点选配置,几分钟就能搭建好自定义爬虫。
网页结构通常分为单页、分页列表和筛选表单三种。知乎属于典型的滚动加载分页类型,资源不会一次性加载完毕,而是随交互逐步呈现。针对这类场景,Web Scraper 提供了便捷的解决方案。
官方支持 Firefox、Chrome 及 Edge 浏览器,以下演示以 Edge 为例。

安装时点击获取更多扩展,搜索 "web scraper" 即可。

二、核心配置步骤
1. 创建站点地图
打开目标帖子页面,按 F12 进入开发者模式,找到 Web Scraper 面板并点击 "Create Sitemap"。

输入任意名称,URL 填入当前页面链接,点击确认。

2. 设置滚动选择器
知乎是无限滚动加载,必须配置滚动机制才能抓取更多内容。在 Sitemap 下新建选择器,Type 设为 "Scroll"。

点击 Select,选中页面底部的滚动条区域,保存后务必勾选 "Scroll" 选项,并将延迟(Delay)设置为 2000 毫秒左右,防止请求过快被拦截。










