基于大语言模型的智能爬虫 Crawlab AI 实践

'如果我当年去问顾客他们想要什么，他们肯定会告诉我：一匹更快的马' – 亨利•福特

前言

当我初入职场时，作为数据分析师的我，偶然体验到了网络爬虫（Web Crawler）自动化提取网页数据的能力，自此我一直对这个神奇的技术充满好奇。随着后来我不断钻研爬虫技术，逐渐了解到网络爬虫的核心技术，其中就包括网页解析（Parsing），即通过分析网页 HTML 结构而构建基于 XPath 或 CSS Selector 数据提取规则的过程。

这个过程长期以来都需要人工介入，虽然对于爬虫工程师来说相对简单，但如果需要大规模抓取，这个过程是非常消耗时间的，而且随着网页结构变化会增加爬虫维护成本。本篇文章将介绍我开发的基于**大语言模型（LLM）**的智能爬虫产品：Crawlab AI。虽然它还处于早期开发阶段，但已经展现出强大的潜力，有望让数据从业者轻松获取数据。

Crawlab AI 核心原理

根据前人关于 LLM 在数据抓取方面的研究结果，我突然意识到 LLM 在或许不仅擅长处理文本，还可以处理更多非结构化数据，包括 HTML。于是，我试着利用 LLM 去解析网页 HTML，并根据要求提取出相应的数据，发现效果出人意料的好。

LLM 不仅能准确提取出网页中的目标数据，而且能够将目标数据所在的节点路径通过 CSS Selector 提供出来。这样就可以让 LLM 根据 HTML 生成相应的提取规则，从而最终生成对应的爬虫代码。因此，利用 LLM 生成爬虫代码进行抓取的想法应运而生，我也根据这个思路发布了 Crawlab AI。

目前 Crawlab AI 处于早期开发阶段，只提供一个网页让用户输入待解析网页的 URL，然后自动解析出数据，并生成爬虫代码。

Crawlab AI 界面展示

技术架构流程

URL 输入与 Fetch: 用户输入目标网址，系统后台发起 HTTP 请求获取页面源码。
HTML 预处理: 去除无关脚本、样式标签，保留核心 DOM 结构，减少 Token 消耗。
Prompt 构建: 将清洗后的 HTML 片段与任务指令（如'提取电影名称、评分'）组合成大模型提示词。
LLM 推理: 调用大语言模型接口，返回 JSON 格式的结构化数据及对应的 CSS Selector。
代码生成: 根据提取的规则，模板化生成 Python、Node.js 或 Go 语言的爬虫脚本。
验证与下载: 用户预览结果，确认无误后下载代码本地运行。

列表解析实战

首先，我们访问 Crawlab AI 平台。

Crawlab AI 输入界面

在这个页面，可以使用示例网页 URL，也可以输入自定义的 URL。这里我们选择示例中的'豆瓣电影'，然后点击 开始解析。等待一会儿，就可以获得解析结果。

Crawlab AI 解析结果

可以看到，豆瓣电影 Top 250 列表中各个字段的数据已经被提取出来，包括电影名、别名、导演、评分等。然后，我们对比一下原网页（如下），可以看到数据是一致的。

原网页对比

而且，不只是数据，Crawlab AI 还将解析规则，包括列表元素、字段、下一页的 CSS Selector，都提取了出来，如下图。

解析规则提取

现在，我们可以开始生成代码了，点击 生成代码，就可以弹框显示出豆瓣电影 Top 250 的爬虫代码了。

代码生成弹窗

默认是 Python 代码，我们还可以选择 Node.js、Go 等编程语言。我们还可以点击下载按钮将其下载下来。

多语言支持

生成的代码示例

以下是 Crawlab AI 可能生成的 Python 爬虫代码示例，展示了如何利用提取到的 CSS Selector 进行数据抓取：

import requests
from bs4 import BeautifulSoup
import time

def crawl_douban_movies():
    base_url = "https://movie.douban.com/top250"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
    }
    
    for page in range(1, 3):
        url = f"{base_url}?start={(page - 1) * 25}"
        response = requests.get(url, headers=headers)
        soup = BeautifulSoup(response.text, 'html.parser')
        
        items = soup.select("div.item")
        for item in items:
            title = item.select_one("span.title").get_text(strip=True)
            rating = item.select_one("span.rating_num").get_text(strip=True)
            director = item.select_one("p.star span:nth-child(3)").get_text(strip=True)
            
            print(f"Title: {title}, Rating: {rating}, Director: {director}")
        
        time.sleep(1)

if __name__ == "__main__":
    crawl_douban_movies()

文章解析实战

除了列表解析以外，Crawlab AI 还提供了文章解析功能，跟 GNE 等一样，也是可以提取文章正文的。这里我们试着解析一篇微信公众号文章，如下图。

文章解析输入

然后，Crawlab AI 解析后的结果如下。

文章解析结果

目前文章解析功能暂时不支持代码生成。未来会将这个功能加入进来。

技术挑战与优化方向

尽管 LLM 在智能爬虫领域展现了巨大潜力，但在实际应用中仍面临一些挑战：

Token 限制: 大型网页的 HTML 结构复杂，可能超出 LLM 的上下文窗口。解决方案是对 HTML 进行摘要提取，仅保留关键节点。
动态内容: 许多现代网站使用 JavaScript 渲染内容。LLM 无法直接执行 JS。需要结合无头浏览器（Headless Browser）先渲染再解析。
反爬机制: 目标网站可能设置验证码或 IP 封禁。需要在生成代码时集成代理池和随机 User-Agent 策略。
准确率波动: LLM 具有概率性，同一页面多次解析可能产生不同规则。建议引入投票机制或人工校验环节。

为了增强解析精准度，后续计划进一步优化调校模型，特别是针对特定行业（如电商、新闻）的微调。

未来计划

Crawlab AI 目前仅支持了 Web 界面，功能还比较基础。未来会加入更多实用的功能，包括批量解析、导入导出、集成 Crawlab 等。当然，目前的解析结果还达不到 100%，一些网站特别是复杂结构的网页无法完美解析，因此会进一步优化调校模型，来增强解析精准度。

总结

在本文中，我们深入探讨了智能爬虫在行业中的需求，回顾了智能爬虫技术的最新研究，并介绍了 Crawlab AI 这一创新的智能解析产品。尽管 Crawlab AI 目前还处于开发的初期阶段，仅提供了具有基本功能的 Playground，它展示的解析效果已然令人印象深刻。用户无需编写任何代码，只需输入网站的 URL，Crawlab AI 就能 自动生成解析规则，并提供 多种编程语言的爬虫代码。

随着技术的持续进步和功能的不断增强，我们有理由相信，一个真正通用的智能爬虫解决方案正逐渐成为现实。这不仅能降低数据获取的门槛，还能让开发者将精力集中在数据分析与应用上，而非繁琐的爬虫维护工作中。

Crawlab AI 总结图

基于大语言模型的智能爬虫 Crawlab AI 实践