Python + Bright Data MCP 实时抓取 Google 搜索结果实战

from brightdata import bdclient

# 推荐用环境变量存储
client = bdclient(api_token="your-api-key")

# 实时抓取 Google 搜索结果
results = client.search(
    query=["Python 教程"],      # 搜索关键词
    search_engine="google",     # 指定搜索引擎
    country="cn"                # 国家代码（中国）
)
print(results)

第三步：运行代码并解析结果

在'命令提示符'或'终端'中，进入代码文件所在的文件夹（例如 cd C:\你的文件夹路径），输入以下命令运行代码：

python Search.py 

第四步：动态网页处理与问题排查

SDK 自动处理的核心能力

brightdata-sdk 已内置以下功能，无需手动配置：

• 自动启用浏览器渲染（处理 Google 动态加载内容）；
• 智能切换代理 IP（规避反爬限制）；
• 结构化解析结果（直接返回键值对格式，无需手动解析 HTML）。

常见错误及解决方法

• 认证失败：提示 Invalid API token 时，检查 Token 是否正确，或环境变量是否生效；
• 结果为空：可能是关键词过于特殊，可尝试减少 max_results 或更换关键词；
• 网络超时：添加重试机制，例如使用 tenacity 库：

from tenacity import retry, stop_after_attempt, wait_fixed

@retry(stop=stop_after_attempt(3), wait=wait_fixed(2))
def fetch_results():
    return client.search(...)

第五步：自动化扩展（基础定时任务）

若需定时抓取（如每小时更新一次关键词排名），可使用 schedule 库实现：

import schedule
import time
import os
from brightdata import bdclient

client = bdclient(api_token=os.getenv("BRIGHTDATA_API_TOKEN"))

def scrape_task():
    print("开始定时抓取...")
    results = client.search(
        query=["Python 最新趋势"],
        search_engine="google",
        country="cn"
    )
    # 可将结果保存到文件或数据库
    with open("python_trends.log", "a") as f:
        f.write(f"[{time.ctime()}] 结果：{results[:2]}\n")

# 每天上午 10 点执行
schedule.every().day.at("10:00").do(scrape_task)

# 持续运行
while True:
    schedule.run_pending()
    time.sleep(60)  # 每分钟检查一次任务

安装 schedule 库：

pip install schedule 

与自动化工具 Trae 集成

在 Trae 中集成 Bright Data MCP 时，通过官方提供的 JSON 配置文件可大幅简化流程。

第一步：获取 Bright Data MCP 的 JSON 配置文件

登录 Bright Data 控制台，进入 MCP 管理页面，在左侧导航栏选择'MCP'，复制 JSON 配置文件。

JSON 配置文件核心结构解析（示例）

导出的配置文件包含调用 MCP API 所需的全部参数，关键字段说明：

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {"API_TOKEN": "你的 API"}
    }
  }
}

第二步：在 Trae 中导入 MCP 配置并建立连接

1. 创建'智能体'：选择'智能体'，点击'创建'。
2. 选择工具：在'工具'那里选择我们刚才创建好的 MCP。
3. 导入 JSON 配置文件：粘贴刚才复制的 JSON 文件，点击'确定'。
4. 手动添加 MCP：选择'MCP'，点击'手动添加'。
5. 打开 Trae AI 功能管理：打开 Trae 客户端，点击右上角的齿轮图标。

提示词示例

一、角色定位
你是专业、合规的 Google 搜索结果抓取智能体，专注于精准提取、结构化呈现 Google 搜索结果信息。依托 Bright Data 等合规数据采集工具，可覆盖自然搜索结果、广告、精选摘要、知识面板等多类型内容，支持按关键词、地区、时间等参数定制抓取，为用户提供全面、实时的搜索结果聚合服务，助力信息检索与分析决策。

二、沟通风格
专业严谨：使用规范的搜索技术术语（如'精选摘要''知识面板''反爬机制'），精准描述结果属性与抓取逻辑，体现数据专业性。
透明清晰：主动说明抓取范围、限制条件（如'最多支持 10 页结果''实时结果可能存在 5-10 分钟延迟'），让用户明确结果边界。
友好适配：以简洁语言解读复杂结果（如用'广告结果已单独标记，与自然结果区分'替代技术化表述），降低信息理解门槛。

三、工作流程
用户需求解析：与用户互动确认核心需求，明确搜索关键词、目标地区/语言、时间范围、结果页数及特殊需求。
合规抓取配置：基于需求配置抓取参数，通过 Bright Data 代理池模拟正常用户 IP，设置合理请求间隔，启用反爬规避策略。
多维度结果提取：借助工具精准抓取多类型结果，包括基础结果（标题、URL、摘要）、特殊结果（广告、精选摘要、知识面板）。
数据校验与结构化：对抓取结果进行二次校验，验证链接有效性、去重重复结果、模糊处理隐私信息。
输出适配呈现：按用户需求提供多格式输出，默认文本结构化，支持表格格式或 JSON 格式。
反馈迭代优化：收集用户反馈，针对性调整抓取策略，持续提升结果准确性与完整性。

四、工具偏好
核心采集工具：优先使用 Bright Data MCP 的'search_engine_scraper'功能抓取 Google 搜索结果页面；借助'proxy_manager'管理合规代理池。
解析辅助工具：使用'structured_data_extractor'提取页面结构化信息；用'link_validator'实时验证 URL 有效性。

五、规则规范
合规优先：严格遵循 Google 平台规则，不绕过验证码、不超频率请求，不抓取禁止页面；尊重版权。
数据保真：确保结果原始性，不篡改标题、摘要或广告标签。
隐私保护：自动识别并处理结果中的个人敏感信息。
透明说明：主动告知结果局限性。

第三步：测试 MCP 调用是否生效

最后打开 CSV 文件，可以发现成功了。我们可以看到它成功调用了 MCP。对话框直接输入'用 google 引擎搜索 Python 教程，将结果整合成 csv 文件，保存到文件夹***'。

集成注意事项

• 配置文件版本兼容：确保导出的 JSON 配置文件版本与 Trae 支持的格式一致。
• 参数覆盖规则：Trae 中可手动修改导入的配置参数（如临时调整 country 为 us），修改后不会影响原始 JSON 文件。
• 日志与调试：通过 Trae'运行日志'面板查看请求详情（包括完整 URL、headers、响应码），便于排查 401 未授权 或 504 超时 等问题。
• 批量调用优化：若需高频调用，在 JSON 配置中添加 batch_size 字段（如 {"batch_size": 5}），减少请求次数。

MCP Server 的技术亮点

用过传统爬虫的开发者都会深有体会：维护代理池、处理动态渲染、应对反爬机制是最耗时的工作。而 MCP Server 把这些问题全部'打包解决'，核心亮点包括：

• 免维护代理池 + 自动解锁：无需自己购买代理，MCP 自动切换 IP 和请求头，规避 99% 的反爬限制；
• 纯 URL 参数控制：所有功能（解锁、渲染、模式）都通过 URL 参数配置，无需编写复杂逻辑，新手也能快速上手；
• 兼容主流工具：不仅支持 Python，还能与 n8n、Trae、LangChain 等自动化工具无缝集成，扩展场景丰富。

使用建议与限制说明

1. 免费额度合理规划：前 3 个月每月 5,000 次请求，按每天 166 次计算，足够支撑开发测试；若团队使用，额度会共享，建议分配好调用次数；
2. 注意付费边界：超出免费额度，会产生费用，可在后台查看消费明细；
3. 优化请求频率：动态网页抓取耗时稍长（约 2-3 秒），避免短时间内高频调用，可添加重试机制应对偶尔的超时。