使用 Web Unlocker API 获取亚马逊数据教程

在数据驱动决策的时代，电商平台的海量数据至关重要。然而，像亚马逊这样的平台构建了反爬虫防线，包括 IP 封锁、CAPTCHA 验证和浏览器指纹识别，常规工具往往难以应对。

下面介绍一种技术解决方案 Web Unlocker API，能够自动处理网站解锁操作，帮助用户高效获取亚马逊平台的各类数据。

一、Web Unlocker API 简介

Web Unlocker 使用代理基础设施，具有请求管理、浏览器指纹伪装和内容验证三个主要组件。它能自动管理所有网站解锁操作，包括 CAPTCHA 验证、浏览器指纹识别、自动重试、选择合适的请求头和 cookies 等。当需要获取高防网站数据时，这些功能尤为重要。

与常规代理服务不同，Web Unlocker API 只需发送一个包含目标网站的 API 请求，系统就会返回干净的 HTML/JSON 响应。在后台，其智能算法无缝管理寻找最佳代理网络、定制请求头、指纹处理和 CAPTCHA 验证等动态过程。

二、开始使用 Web Unlocker API

Web Unlocker API 可以自动解锁防范严密的网站，支持自动化周期管理，无需复杂的编码经验即可使用。

1、进入控制台页面

首先进入控制台页面，点击左侧第一个 tab 键'代理 & 抓取基础设施'，找到'网页解锁器'，开始使用。

2、创建通道

进入网页解锁器页面后，填写通道名称，添加简短描述，点击添加。

3、查看详细信息

直接展示代理基础设施的详细信息，包含 Web Unlocker API 的配置信息和代码示例。

4、配置网页解锁器

针对最难的网站进行自动化抓取，利用动态住宅 IP，解决 CAPTCHA，渲染 JS，使用自定义指纹和 cookies。

5、以 Python 脚本获取亚马逊平台数据为示例

（1）定位具体数据

进入亚马逊平台后，搜索关键词，复制网页地址链接。该页面展示了相关产品，包含产品信息、价格等。

（2）编写 Python 代码

代码中需要修改为已配置好的 Web Unlocker 详细信息，例如主机、端口、用户名和密码等信息。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import warnings

warnings.filterwarnings('ignore', message='Unverified HTTPS request')

# 您的凭证信息（请替换为实际值）
customer_id = "brd-customer-hl_da15f828-zone-web_unlocker3"
zone_name = "web_unlocker3"
zone_password = "your_zone_password"

proxy_url = "brd.superproxy.io:33335"
proxy_auth = f"brd-customer-{customer_id}-zone-{zone_name}:{zone_password}"
proxies = {
    "http": f"http://{proxy_auth}@{proxy_url}",
    "https": f"http://{proxy_auth}@{proxy_url}"
}

# 目标亚马逊搜索 URL
target_url = "https://www.amazon.com/s?k=gaming&language=zh"

# 添加适当的请求头，模拟真实浏览器
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Referer": "https://www.amazon.com/"
}

try:
    print("正在发送请求...")
    response = requests.get(target_url, proxies=proxies, headers=headers, verify=False)
    print(f"请求状态码：{response.status_code}")

    # 保存 HTML 响应
    with open("amazon_gaming_search.html", "w", encoding="utf-8") as file:
        file.write(response.text)
    print("成功获取亚马逊搜索数据，已保存到 amazon_gaming_search.html")

    # 解析搜索结果
    soup = BeautifulSoup(response.text, "html.parser")
    search_results = []
    product_cards = soup.select(".s-result-item[data-asin]:not([data-asin=''])")
    print(f"找到 {len(product_cards)} 个产品")

    for card in product_cards:
        asin = card.get("data-asin")
        try:
            title_element = card.select_one("h2 a span")
            title = title_element.text.strip() if title_element else "N/A"
            price_element = card.select_one(".a-price .a-offscreen")
            price = price_element.text.strip() if price_element else "N/A"
            rating_element = card.select_one(".a-icon-star-small")
            rating = rating_element.text.strip() if rating_element else "N/A"
            reviews_element = card.select_one("span.a-size-base.s-underline-text")
            reviews = reviews_element.text.strip() if reviews_element else "N/A"

            search_results.append({
                "asin": asin,
                "title": title,
                "price": price,
                "rating": rating,
                "reviews": reviews,
                "url": f"https://www.amazon.com/dp/{asin}"
            })
            print(f"已解析：{title[:30]}...")
        except Exception as e:
            print(f"解析产品 {asin} 时出错：{str(e)}")

    # 保存结果到 CSV
    if search_results:
        df = pd.DataFrame(search_results)
        df.to_csv("amazon_gaming_search_results.csv", index=False, encoding="utf-8-sig")
        print(f"已成功抓取 {len(search_results)} 个搜索结果，保存到 amazon_gaming_search_results.csv")
        print("\n搜索结果前 5 条数据:")
        print(df.head().to_string())
    else:
        print("未找到搜索结果")
except Exception as e:
    print(f"请求失败：{str(e)}")

6、结果示例

成功运行后，代码会下载亚马逊游戏类别的搜索页面 HTML，将原始 HTML 保存到文件，解析出产品信息（ASIN、标题、价格、评分、评论数等），将解析结果保存到 CSV 文件。

三、Web Scraper

1、快速使用 Web Scraper

Web Scraper 提供了最大的灵活性，无需维护代理和解封基础设施，让用户能够轻松地从任何地理位置抓取数据，同时避开验证码和网站封锁。作为一种专为网页抓取设计的 GUI 浏览器，内置了网站解锁功能，可自动处理封锁问题。

这是一种云服务，能够自动处理 IP 轮换、验证码解决和数据解析，将数据转换为结构化格式。对于亚马逊数据，能够提取标题、卖家名称、品牌、描述、价格、货币、可用性和评论数量等信息。这种结构化的数据输出使得分析和集成变得简单直接，支持 JSON、NDJSON 和 CSV 等多种数据格式。

2、通过 python 获取亚马逊网页数据

import csv
from selenium.webdriver.common.by import By
import time

# 获取商品信息
product_elements = driver.find_elements(By.CSS_SELECTOR, ".s-main-slot .s-result-item")

with open('amazon_products.csv', 'w', newline='', encoding='gbk') as csvfile:
    fieldnames = ['Title', 'Price', 'Image URL']
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
    writer.writeheader()

    for index, product in enumerate(product_elements):
        try:
            title = product.find_element(By.CSS_SELECTOR, ".a-text-normal").text
            price = product.find_element(By.CSS_SELECTOR, ".a-price-whole").text
            image_url = product.find_element(By.CSS_SELECTOR, "img.s-image").get_attribute("src")
            print(f"Product {index + 1}:")
            print(f"Title: {title}")
            print(f"Price: {price} USD")
            print(f"Image URL: {image_url}")
            writer.writerow({'Title': title, 'Price': price, 'Image URL': image_url})
        except Exception as e:
            print(f"Skipping product {index + 1} due to missing information.")
        time.sleep(2)

driver.quit()

3、定位具体数据

4、运行并保存到 csv 文件

四、SERP API

SERP API 是解锁抓取套件的一部分，其核心优势在于处理完整的代理、解锁和解析基础设施，让用户可以专注于从搜索引擎结果页 (SERPs) 收集数据。SERP API 通过模拟真实浏览器行为并提供完整的 JavaScript 支持来绕过搜索引擎的访问限制，实时提供准确的、结构化的搜索数据。

这种强大的自动化机制处理了 IP 轮换、验证码解决、浏览器指纹管理等复杂问题，使用户无需担心被搜索引擎封锁。

六、总结

提供的 Web Unlocker API、Web Scraper 及 SERP API 构成了一套完整的数据采集解决方案，可有效应对亚马逊等高防网站的反爬挑战。

Web Unlocker API 通过请求管理、浏览器指纹伪装和内容验证三大核心组件，实现了对 CAPTCHA 的自动解决、浏览器指纹的智能处理以及请求的自动优化。Web Scraper 则提供了更高级的灵活性和控制力，能将原始数据转化为结构化格式。SERP API 专注于搜索引擎结果页的数据获取，进一步拓展了数据采集的边界。

这些工具的核心价值在于让数据采集工作变得简单高效，使用户无需深厚的编程背景也能实现专业级的数据抓取。