ScrapeGraphAI：利用大语言模型实现智能网页数据提取

示例二：使用 ChatGPT (OpenAI) API 提取信息

from scrapegraphai.graphs import SmartScraperGraph

OPENAI_API_KEY = "YOUR_API_KEY"

graph_config = {
    "llm": {
        "api_key": OPENAI_API_KEY,
        "model": "gpt-3.5-turbo",
    }
}

smart_scraper_graph = SmartScraperGraph(
    prompt="List me all the articles",
    source="https://perinim.github.io/projects",
    config=graph_config
)

result = smart_scraper_graph.run()
print(result)

示例三：使用 Groq API 提取信息

Groq 提供极快的推理速度，适合对延迟敏感的场景。

from scrapegraphai.graphs import SmartScraperGraph
from scrapegraphai.utils import prettify_exec_info
import os

groq_key = os.getenv("GROQ_APIKEY")

graph_config = {
    "llm": {
        "model": "groq/gemma-7b-it",
        "api_key": groq_key,
        "temperature": 0
    },
    "embeddings": {
        "model": "ollama/nomic-embed-text",
        "temperature": 0,
        "base_url": "http://localhost:11434",
    },
    "headless": False
}

smart_scraper_graph = SmartScraperGraph(
    prompt="List me all the projects with their description and the author.",
    source="https://perinim.github.io/projects",
    config=graph_config
)

result = smart_scraper_graph.run()
print(result)

示例四：使用 Gemini API 提取信息

from scrapegraphai.graphs import SmartScraperGraph

GOOGLE_APIKEY = "YOUR_API_KEY"

# Define the configuration for the graph
graph_config = {
    "llm": {
        "api_key": GOOGLE_APIKEY,
        "model": "gemini-pro",
    }
}

# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="List me all the articles",
    source="https://perinim.github.io/projects",
    config=graph_config
)

result = smart_scraper_graph.run()
print(result)

示例五：使用 Docker 部署本地模型

在使用本地模型之前，建议先创建 Docker 容器以确保环境一致性。

docker-compose up -d
docker exec -it ollama ollama pull stablelm-zephyr

您可以使用 Ollama 上可用的模型或您自己的模型来代替 stablelm-zephyr。

from scrapegraphai.graphs import SmartScraperGraph

graph_config = {
    "llm": {
        "model": "ollama/mistral",
        "temperature": 0,
        "format": "json",  # Ollama needs the format to be specified explicitly
        # "model_tokens": 2000, # set context length arbitrarily
    }
}

smart_scraper_graph = SmartScraperGraph(
    prompt="List me all the articles",
    source="https://perinim.github.io/projects",
    config=graph_config
)

result = smart_scraper_graph.run()
print(result)

高级配置与最佳实践

1. 提示词工程 (Prompt Engineering)

ScrapeGraphAI 的效果很大程度上取决于 Prompt 的质量。建议遵循以下原则：

• 明确性：清晰定义需要提取的字段名称和数据类型。
• 结构化：要求输出 JSON 格式，便于后续程序处理。
• 上下文：如果页面包含多个部分，指定具体的区域或条件。

2. 错误处理

在实际生产环境中，网络请求可能会失败或 LLM 可能返回非预期格式。建议添加异常捕获机制：

try:
    result = smart_scraper_graph.run()
except Exception as e:
    print(f"Error occurred: {e}")
    # Implement retry logic or fallback here

3. 性能优化

• 缓存：对于重复请求的 URL，考虑缓存响应以减少 API 调用成本。
• 并发：ScrapeGraphAI 支持异步操作，可在处理大量 URL 时提高吞吐量。
• 模型选择：对于简单任务，使用轻量级模型（如 Mistral 7B）可显著降低成本；对于复杂逻辑，再使用 GPT-4 等大模型。

总结

随着 AI 技术的不断发展，传统爬虫工具正面临新的机遇与挑战。ScrapeGraphAI 通过将大语言模型集成到数据提取流程中，极大地降低了非结构化数据的处理门槛。未来，更多智能化的工具将会涌现，帮助开发者更高效地应对海量数据处理需求。