ScrapeGraphAI 是一个基于大语言模型的 Python 网络爬虫库，旨在简化数据提取过程。该工具允许用户通过自然语言提示词定义抓取目标，自动解析网页结构并返回结构化数据，无需手动编写复杂的解析规则。本文详细介绍了 ScrapeGraphAI 的核心特性，包括 SmartScraper、SearchGraph 和 SpeechGraph 三种模式。内容涵盖环境安装、Playwright 配置、多种 LLM 提供商（如 Ollama、OpenAI、Groq、Gemini）的接入方法以及 Docker 部署方案。此外，文章还提供了完整的代码示例、提示词优化建议和错误处理策略，帮助用户快速构建智能数据采集管道。
你是否曾想过，如果有一个工具能够理解你的意图并自动执行复杂的网络数据抓取任务，那会怎样？ScrapeGraphAI 正是这样一个工具。它利用最新的人工智能技术（LLM），让数据提取变得前所未有地简单。
ScrapeGraphAI 是一个用于网络抓取的 Python 库。它使用大语言模型（LLM）和直接图（Direct Graph）为网站、文档和 XML 文件创建抓取管道。用户只需输入想要提取的信息描述（Prompt），系统便会自动解析页面结构并返回结果。
确保已安装 Python 3.8+ 环境。
使用 pip 安装 scrapegraphai：
pip install scrapegraphai
为了支持客户端渲染（由 JavaScript 动态渲染）的网页，需要安装 Playwright：
playwright install
Playwright 是一个强大的 Python 库，仅用一个 API 即可自动执行 Chromium、Firefox、WebKit 等主流浏览器的自动化操作。
官方提供了 Streamlit 演示和 Google Colab 笔记本供快速体验：
ScrapeGraphAI 内置了三种主要的网页爬取流程，适用于不同场景：
ScrapeGraphAI 支持通过 API 使用不同的 LLM，例如 OpenAI、Groq、Azure 和 Gemini，或使用 Ollama 的本地模型。
此示例展示了如何配置本地运行的 Ollama 模型进行数据提取。
from scrapegraphai.graphs import SmartScraperGraph
import os
graph_config = {
"llm": {
"model": "ollama/mistral",
"temperature": 0,
"format": "json", # Ollama needs the format to be specified explicitly
"base_url": "http://localhost:11434", # set Ollama URL
},
"embeddings": {
"model": "ollama/nomic-embed-text",
"base_url": "http://localhost:11434", # set Ollama URL
}
}
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the articles",
# also accepts a string with the already downloaded HTML code
source="https://perinim.github.io/projects",
config=graph_config
)
result = smart_scraper_graph.run()
print(result)
from scrapegraphai.graphs import SmartScraperGraph
OPENAI_API_KEY = "YOUR_API_KEY"
graph_config = {
"llm": {
"api_key": OPENAI_API_KEY,
"model": "gpt-3.5-turbo",
}
}
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the articles",
source="https://perinim.github.io/projects",
config=graph_config
)
result = smart_scraper_graph.run()
print(result)
Groq 提供极快的推理速度，适合对延迟敏感的场景。
from scrapegraphai.graphs import SmartScraperGraph
from scrapegraphai.utils import prettify_exec_info
import os
groq_key = os.getenv("GROQ_APIKEY")
graph_config = {
"llm": {
"model": "groq/gemma-7b-it",
"api_key": groq_key,
"temperature": 0
},
"embeddings": {
"model": "ollama/nomic-embed-text",
"temperature": 0,
"base_url": "http://localhost:11434",
},
"headless": False
}
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the projects with their description and the author.",
source="https://perinim.github.io/projects",
config=graph_config
)
result = smart_scraper_graph.run()
print(result)
from scrapegraphai.graphs import SmartScraperGraph
GOOGLE_APIKEY = "YOUR_API_KEY"
# Define the configuration for the graph
graph_config = {
"llm": {
"api_key": GOOGLE_APIKEY,
"model": "gemini-pro",
}
}
# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the articles",
source="https://perinim.github.io/projects",
config=graph_config
)
result = smart_scraper_graph.run()
print(result)
在使用本地模型之前，建议先创建 Docker 容器以确保环境一致性。
docker-compose up -d
docker exec -it ollama ollama pull stablelm-zephyr
您可以使用 Ollama 上可用的模型或您自己的模型来代替 stablelm-zephyr。
from scrapegraphai.graphs import SmartScraperGraph
graph_config = {
"llm": {
"model": "ollama/mistral",
"temperature": 0,
"format": "json", # Ollama needs the format to be specified explicitly
# "model_tokens": 2000, # set context length arbitrarily
}
}
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the articles",
source="https://perinim.github.io/projects",
config=graph_config
)
result = smart_scraper_graph.run()
print(result)
ScrapeGraphAI 的效果很大程度上取决于 Prompt 的质量。建议遵循以下原则：
在实际生产环境中，网络请求可能会失败或 LLM 可能返回非预期格式。建议添加异常捕获机制：
try:
result = smart_scraper_graph.run()
except Exception as e:
print(f"Error occurred: {e}")
# Implement retry logic or fallback here
随着 AI 技术的不断发展，传统爬虫工具正面临新的机遇与挑战。ScrapeGraphAI 通过将大语言模型集成到数据提取流程中，极大地降低了非结构化数据的处理门槛。未来，更多智能化的工具将会涌现，帮助开发者更高效地应对海量数据处理需求。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online