基于 Web Scraper 插件爬取知乎评论数据指南

然后点击 create sitemap。

接下来创建新的选择器：

ID 可自定义，Type 按照图片上的来，元素滚动：

然后点击 Select 选择全部的下滑框，像我图里的这样，然后点击保存（红框标注）：

然后记得 Scroll 也要选上，延迟设为 2000，最后 Save：

然后再点进 Content 里面：

继续 Add：

然后直接配置最重要的 Data 内容，ID 可自定义，类型是 Text：

其它的像名字、点赞量、评论量等，你们可以设置同级别的 Add 点击需要爬取的框，把信息都爬下来。

接下来点 Select 点击内容框，此时最重要！按住 Shift 点击下一个帖子的 Data 内容，这时候往下翻会发现都自动选中了：

Done 后 Save。

其实在爬之前也可以 Data Preview 一下：

然后他会自动向下翻页

最后点击抓取：

不用管直接 Start：

然后他会自己往下翻，等他结束关闭了：

最后数据会弹出来，然后点导出数据：

最后结果：

四、总结

掌握了 Web Scraper 的使用，基本上可以应付学习工作中 90% 的数据爬取需求。相对于 Python 爬虫，虽然灵活度上受到了限制，但是低廉的学习成本可以大大节省学习时间，快速解决手头的工作，提高整体的工作效率。综合来看，Web Scraper 还是非常值得去学习的。