Web Unlocker API 实现亚马逊数据采集实战

在数据驱动决策的时代，电商平台的海量数据极具价值。然而，像亚马逊这样的巨头构建了完善的反爬虫防线，包括 IP 封锁、CAPTCHA 验证和浏览器指纹识别，常规爬虫工具往往难以突破。

Web Unlocker API 提供了一种自动化解决方案，通过代理基础设施与浏览器指纹伪装技术，自动处理网站解锁操作。它包含请求管理、内容验证等核心组件，无需深厚的编程背景即可高效获取高防网站数据。

Web Unlocker API 原理

Web Unlocker 使用 Bright Data 的代理基础设施，能够自动管理所有网站解锁流程。当发送一个包含目标网站的 API 请求时，系统会在后台智能选择最佳代理网络、定制请求头、处理指纹及验证码，最终返回干净的 HTML 或 JSON 响应。相比常规代理服务，它能无缝应对动态变化的反爬策略。

配置与使用流程

1. 控制台设置

登录平台后，进入左侧菜单的'代理 & 抓取基础设施'，找到'网页解锁器'模块。创建新通道时填写名称与描述，系统将生成对应的 Zone ID 和密码信息。

2. 代码集成示例

以 Python 脚本获取亚马逊搜索数据为例。配置时需填入已创建的 Zone 凭证，包括主机地址、端口、用户名及密码。代理认证格式通常为 brd-customer-{customer_id}-zone-{zone_name}:{zone_password}。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import warnings

# 忽略 SSL 警告
warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 您的 Bright Data 凭证
customer_id = "brd-customer-hl_da15f828"
zone_name = "web_unlocker3"
zone_password = "q9crj4rw9004"

# 代理设置
proxy_url = "brd.superproxy.io:33335"
proxy_auth = f"brd-customer-{customer_id}-zone-{zone_name}:{zone_password}"
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

# 目标亚马逊搜索 URL
target_url = "https://www.amazon.com/s?k=gaming&language=zh&_encoding=UTF8"

# 添加适当的请求头，模拟真实浏览器
headers = {
    "User-Agent": ,
    : ,
    : ,
    : 
}

:
    ()
    response = requests.get(
        target_url,
        proxies=proxies,
        headers=headers,
        verify=  
    )
    ()

    
     (, , encoding=)  file:
        file.write(response.text)
    ()

    
    soup = BeautifulSoup(response.text, )
    search_results = []

    
    product_cards = soup.select()
    ()

     card  product_cards:
        asin = card.get()
        :
            title_element = card.select_one()
            title = title_element.text.strip()  title_element  
            price_element = card.select_one()
            price = price_element.text.strip()  price_element  
            rating_element = card.select_one()
            rating = rating_element.text.strip()  rating_element  
            reviews_element = card.select_one()
            reviews = reviews_element.text.strip()  reviews_element  

            search_results.append({
                : asin,
                : title,
                : price,
                : rating,
                : reviews,
                : 
            })
            ()
         Exception  e:
            ()

    
     search_results:
        df = pd.DataFrame(search_results)
        df.to_csv(, index=, encoding=)
        ()
        ()
        (df.head().to_string())
    :
        ()
 Exception  e:
    ()