跳到主要内容
极客日志极客日志面向AI+效率的开发者社区
首页博客我的书AI学习GitHub 精选镜像AI工具UI配色美学关于
搜索内容 / 工具 / 仓库 / 镜像...⌘K搜索
注册
博客列表
HTML / CSS大前端

基于 Web Scraper 插件爬取知乎评论数据指南

Web Scraper 是一款对新手友好的浏览器扩展工具,无需编程基础即可快速搭建爬虫。演示了如何使用该插件抓取知乎评论数据,涵盖安装、选择器配置、滚动加载处理及数据导出步骤。通过设置 Scroll 延迟和 CSS 选择器,可有效应对分页列表类网页的数据采集需求,适合日常轻量级数据获取场景。

山野诗人发布于 2026/4/11更新于 2026/10/2499 浏览
基于 Web Scraper 插件爬取知乎评论数据指南

一、简介

Web Scraper 是一款对新手友好的浏览器扩展工具,屏蔽了底层编程知识,只需鼠标点选即可快速搭建自定义爬虫。

这是常见的网页类型:

1.单页

单页是最常见的网页类型。我们日常阅读的文章,推文的详情页都可以归于这种类型。

2.分页列表

分页列表也是非常常见的网页类型。互联网的资源可以说是无限的,当我们访问一个网站时,不可能一次性把所有的资源都加载到浏览器里。现在的主流做法是先加载一部分数据,随着用户的交互操作(滚动、筛选、分页)才会加载下一部分数据。

3.筛选表单

表单类型的网页在 PC 网站上比较常见。这种网页的最大特点就是有很多筛选项,不同的选择会加载不同的数据,组合多变,交互较为复杂。比如说淘宝的购物筛选页。

知乎属于第二种网页滚动加载分页。

官方支持 Firefox 浏览器和 Chrome 浏览器,用 Edge 浏览器也可以,以下演示我用 Edge 浏览器来做:

二、安装教程

文章配图

点进插件里获取更多扩展:

文章配图

搜索 Web Scraper 进行安装。

大家在使用的时候如果只能爬取少量信息,通常是因为没有设置 Scroll 延迟,下面进行教学:

三、使用教程

  1. 第一步:选择一个帖子

文章配图

按 F12 进入开发者模式:

文章配图

接下来点击 create sitemap:

文章配图

然后名字自定义,URL 填上面的网页链接:

文章配图

然后点击 create sitemap。

接下来创建新的选择器:

文章配图

ID 可自定义,Type 按照图片上的来,元素滚动:

文章配图

然后点击 Select 选择全部的下滑框,像我图里的这样,然后点击保存(红框标注):

文章配图

然后记得 Scroll 也要选上,延迟设为 2000,最后 Save:

文章配图

然后再点进 Content 里面:

文章配图

继续 Add:

文章配图

然后直接配置最重要的 Data 内容,ID 可自定义,类型是 Text:

文章配图

其它的像名字、点赞量、评论量等,你们可以设置同级别的 Add 点击需要爬取的框,把信息都爬下来。

接下来点 Select 点击内容框,此时最重要!按住 Shift 点击下一个帖子的 Data 内容,这时候往下翻会发现都自动选中了:

文章配图

Done 后 Save。

其实在爬之前也可以 Data Preview 一下:

文章配图

然后他会自动向下翻页

最后点击抓取:

文章配图

不用管直接 Start:

文章配图

然后他会自己往下翻,等他结束关闭了:

文章配图

最后数据会弹出来,然后点导出数据:

文章配图

最后结果:

文章配图

四、总结

掌握了 Web Scraper 的使用,基本上可以应付学习工作中 90% 的数据爬取需求。相对于 Python 爬虫,虽然灵活度上受到了限制,但是低廉的学习成本可以大大节省学习时间,快速解决手头的工作,提高整体的工作效率。综合来看,Web Scraper 还是非常值得去学习的。

目录

  1. 一、简介
  2. 1.单页
  3. 2.分页列表
  4. 3.筛选表单
  5. 二、安装教程
  6. 三、使用教程
  7. 四、总结

更多推荐文章

查看全部
  • FLASH 坏块监测系统算法题解
  • Python RPA+ 爬虫:模拟人工操作采集 ERP 系统数据(金蝶/用友无接口)
  • MySQL 9.0 安装配置与多语言连接教程
  • Linux 文件操作核心:缓冲区机制与文件描述符原理
  • 吴恩达与 OpenAI 大模型开发指南:从提示词工程到 LangChain 应用
  • 深入理解 Python 异步编程:async、await 与同步函数详解
  • LLaMA-Factory 本地部署与微调指南
  • 本地深度学习环境搭建:硬件选择与 PyTorch 配置指南
  • C++ 命名空间详解:从 std 角度理解作用域与最佳实践
  • Seedance 2.0 重构 AIGC 工作流:语义映射与热更新实战解析
  • 比迪丽 AI 绘画多设备协同:PC 生成、手机审核与平板标注
  • C++ 继承机制深度解析:从基础到菱形继承
  • C++ 继承:派生类构造、多继承与菱形虚拟继承详解
  • 本地化 AI 量化分析平台搭建:Docker 部署与波浪理论实战
  • 算法实战:机器人摧毁墙壁最大数目的线段树与离散化方案
  • GraphRAG 提升 LLM 摘要总结能力的原理与实践
  • Windows 系统下 Git 安装与配置详解
  • Docker 部署 MySQL 8.0:镜像拉取、配置与远程访问
  • Android 动态替换 Application 实现
  • FPGA 是什么?核心原理与优势解析

相关免费在线工具

  • Base64 字符串编码/解码

    将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具,Base64 字符串编码/解码在线工具,online

  • Base64 文件转换器

    将字符串、文件或图像转换为其 Base64 表示形式。 在线工具,Base64 文件转换器在线工具,online

  • Markdown转HTML

    将 Markdown(GFM)转为 HTML 片段,浏览器内 marked 解析;与 HTML转Markdown 互为补充。 在线工具,Markdown转HTML在线工具,online

  • HTML转Markdown

    将 HTML 片段转为 GitHub Flavored Markdown,支持标题、列表、链接、代码块与表格等;浏览器内处理,可链接预填。 在线工具,HTML转Markdown在线工具,online

  • JSON 压缩

    通过删除不必要的空白来缩小和压缩JSON。 在线工具,JSON 压缩在线工具,online

  • JSON美化和格式化

    将JSON字符串修饰为友好的可读格式。 在线工具,JSON美化和格式化在线工具,online