使用 Web Unlocker API 高效抓取亚马逊数据实战

突破反爬限制：Web Unlocker API 获取亚马逊数据实战

在电商数据采集领域，像亚马逊这样的大型平台构建了严密的反爬虫防线，包括 IP 封锁、验证码验证和浏览器指纹识别。常规爬虫工具往往在这些机制面前失效。本文将介绍如何利用 Web Unlocker API 自动处理这些解锁操作，无需深厚的编码经验即可高效获取目标数据。

一、Web Unlocker API 简介

Web Unlocker 基于代理基础设施构建，核心包含三个组件：请求管理、浏览器指纹伪装和内容验证。它能自动管理网站解锁流程，涵盖验证码处理、指纹定制、自动重试及请求头优化。

与常规代理服务不同，调用 Web Unlocker API 只需发送一个包含目标网站的请求，系统便会返回干净的 HTML 或 JSON 响应。后台智能算法会自动处理代理网络选择、动态请求头生成及指纹匹配等复杂过程。

二、开始使用 Web Unlocker API

该服务支持高成功率自动解锁，采用自动化周期管理，且遵循不成功不收费的原则。

1. 控制台配置

登录控制台后，在左侧导航栏选择'代理 & 抓取基础设施'，找到'网页解锁器'模块并点击创建。

2. 创建通道

进入页面后，填写通道名称及简短描述，确认添加。系统将展示该通道的详细信息，包括 API 端点、配置参数及代码示例。

3. 编写 Python 脚本

以下是一个完整的 Python 示例，演示如何通过 Web Unlocker 获取亚马逊搜索结果。请注意替换代码中的占位符为您的实际凭证。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import warnings

# 忽略 SSL 警告
warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 您的 Bright Data 凭证（请替换为实际值）
customer_id = "YOUR_CUSTOMER_ID"
zone_name = "web_unlocker3"
zone_password = "YOUR_PASSWORD"

# 代理设置
proxy_url = "brd.superproxy.io:33335"
proxy_auth = f"brd-customer-{customer_id}-zone-{zone_name}:{zone_password}"
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

# 目标亚马逊搜索 URL
target_url = 


headers = {
    : ,
    : ,
    : ,
    : ,
    : 
}

:
    ()
    response = requests.get(target_url, proxies=proxies, headers=headers, verify=)
    ()

    
     (, , encoding=)  file:
        file.write(response.text)
    ()

    
    soup = BeautifulSoup(response.text, )
    search_results = []
    
    
    product_cards = soup.select()
    ()

     card  product_cards:
        asin = card.get()
        :
            title_element = card.select_one()
            title = title_element.text.strip()  title_element  
            
            price_element = card.select_one()
            price = price_element.text.strip()  price_element  
            
            rating_element = card.select_one()
            rating = rating_element.text.strip()  rating_element  
            
            reviews_element = card.select_one()
            reviews = reviews_element.text.strip()  reviews_element  
            
            search_results.append({
                : asin,
                : title,
                : price,
                : rating,
                : reviews,
                : 
            })
            ()
         Exception  e:
            ()

    
     search_results:
        df = pd.DataFrame(search_results)
        df.to_csv(, index=, encoding=)
        ()
        ()
        (df.head().to_string())
    :
        ()
 Exception  e:
    ()