PythonSaaS大前端
Python 调用 Web Unlocker API 获取亚马逊数据
亚马逊电商平台存在反爬机制，常规工具难以获取数据。使用 Web Unlocker API 配合 Python 脚本可解决 IP 封锁和验证码问题。通过配置代理基础设施，自动处理浏览器指纹和内容验证，实现高成功率的数据抓取。代码示例展示了如何解析搜索结果并保存为 CSV 文件，适用于需要自动化采集电商信息的场景。
亚马逊电商平台存在反爬机制，常规工具难以获取数据。使用 Web Unlocker API 配合 Python 脚本可解决 IP 封锁和验证码问题。通过配置代理基础设施，自动处理浏览器指纹和内容验证，实现高成功率的数据抓取。代码示例展示了如何解析搜索结果并保存为 CSV 文件，适用于需要自动化采集电商信息的场景。
Web Unlocker 使用代理基础设施，具有请求管理、浏览器指纹伪装和内容验证三个主要组件。这使得它能自动管理所有网站解锁操作，包括 CAPTCHA 验证、浏览器指纹识别、自动重试、选择合适的请求头和 cookies 等。当您需要获取亚马逊这样的高防网站数据时，这些功能尤为重要。
与常规代理服务不同，Web Unlocker API 只需发送一个包含目标网站的 API 请求，系统就会返回干净的 HTML/JSON 响应。在后台，它的智能算法无缝管理寻找最佳代理网络、定制请求头、指纹处理和 CAPTCHA 验证等动态过程。
Web Unlocker API 可以以前所未有的成功率自动解锁防范最严密的网站，自动化周期管理，无需编写复杂代理逻辑即可使用。
首先进入控制台页面，点击左侧第一个 tab 键'代理 & 抓取基础设施'，找到'网页解锁器'，开始使用。
进入网页解锁器页面后，填写通道名称，添加简短描述，点击添加。
直接展示代理基础设施/web_unlocker3 的详细信息，包含 Web Unlocker API 的配置信息、代码示例。
针对最难的网站进行自动化抓取，利用动态住宅 IP，解决 CAPTCHA，渲染 JS，使用自定义指纹和 cookies。
（1）定位具体数据
进入亚马逊平台后，搜索关键词，复制网页地址链接。该页面给出了很多相关产品，定位具体数据，比如产品信息、价格等。
（2）编写 Python 代码
代码中需要修改为已配置好的 web_unlocker3 的详细信息，比如主机、端口、用户名、密码等信息。
import requests
from bs4 import BeautifulSoup
import pandas as pd
import warnings
# 忽略 SSL 警告
warnings.filterwarnings('ignore')
# 您的 Bright Data 凭证
customer_id = "brd-customer-hl_da15f828-zone-web_unlocker3"
zone_name = "web_unlocker3"
zone_password = "q9crj4rw9004"
# 代理设置
proxy_url = "brd.superproxy.io:33335"
proxy_auth = f"brd-customer-{customer_id}-zone-{zone_name}:{zone_password}"
proxies = {
"http": f"http://{proxy_auth}@{proxy_url}",
"https": f"http://{proxy_auth}@{proxy_url}"
}
# 目标亚马逊搜索 URL
target_url = "https://www.amazon.com/s?k=gaming&language=zh&_encoding=UTF8&content-id=amzn1.sym.860dbf94-9f09-4ada-8615-32eb5ada253a&pd_rd_r=55c71001-73f7-488e-a943-eff18bee567b&pd_rd_w=4hK8A&pd_rd_wg=JgRuS&pf_rd_p=860dbf94-9f09-4ada-8615-32eb5ada253a&pf_rd_r=FWYKX6PAWN9C758RR97V&ref=pd_hp_d_atf_unk"
# 添加适当的请求头，模拟真实浏览器
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
"Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8",
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Encoding": "gzip, deflate, br",
"Referer": "https://www.amazon.com/"
}
try:
print("正在通过代理发送请求...")
response = requests.get(
target_url,
proxies=proxies,
headers=headers,
verify=
)
()
(, , encoding=) file:
file.write(response.text)
()
soup = BeautifulSoup(response.text, )
search_results = []
product_cards = soup.select()
()
card product_cards:
asin = card.get()
:
title_element = card.select_one()
title = title_element.text.strip() title_element
price_element = card.select_one()
price = price_element.text.strip() price_element
rating_element = card.select_one()
rating = rating_element.text.strip() rating_element
reviews_element = card.select_one()
reviews = reviews_element.text.strip() reviews_element
search_results.append({
: asin,
: title,
: price,
: rating,
: reviews,
:
})
()
Exception e:
()
search_results:
df = pd.DataFrame(search_results)
df.to_csv(, index=, encoding=)
()
()
(df.head().to_string())
:
()
Exception e:
()
成功运行后，代码会下载亚马逊游戏类别的搜索页面 HTML，将原始 HTML 保存到文件，解析出产品信息（ASIN、标题、价格、评分、评论数等），将解析结果保存到 CSV 文件。
Web Scrapers 提供了最大的灵活性，无需维护代理和解封基础设施，让用户能够轻松地从任何地理位置抓取数据，同时避开验证码和网站封锁。Web Scrapers 作为一种专为网页抓取设计的 GUI 浏览器，内置了网站解锁功能，可自动处理封锁问题。
Bright Data 的 Web Scrapers 是一种云服务，能够自动处理 IP 轮换、验证码解决和数据解析，将数据转换为结构化格式。对于亚马逊数据，能够提取标题、卖家名称、品牌、描述、价格、货币、可用性和评论数量等信息。这种结构化的数据输出使得分析和集成变得简单直接，支持 JSON、NDJSON 和 CSV 等多种数据格式。
# 获取商品信息
product_elements = driver.find_elements(By.CSS_SELECTOR, ".s-main-slot .s-result-item")
# 创建 CSV 文件并写入数据
with open('amazon_products.csv', 'w', newline='', encoding='gbk') as csvfile:
fieldnames = ['Title', 'Price', 'Image URL']
writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
writer.writeheader()
for index, product in enumerate(product_elements):
try:
title = product.find_element(By.CSS_SELECTOR, ".a-text-normal").text
price = product.find_element(By.CSS_SELECTOR, ".a-price-whole").text
image_url = product.find_element(By.CSS_SELECTOR, "img.s-image").get_attribute("src")
print(f"Product {index + 1}:")
print(f"Title: {title}")
print(f"Price: {price} USD")
print(f"Image URL: {image_url}")
# 写入 CSV 文件
writer.writerow({'Title': title, 'Price': price, 'Image URL': image_url})
except Exception as e:
print(f"Skipping product {index + 1} due to missing information.")
time.sleep(2)
driver.quit()
SERP API 是解锁抓取套件的一部分，其核心优势在于处理完整的代理、解锁和解析基础设施，让用户可以专注于从搜索引擎结果页 (SERPs) 收集数据。SERP API 通过模拟真实浏览器行为并提供完整的 JavaScript 支持来绕过搜索引擎的访问限制，实时提供准确的、结构化的搜索数据。
这种强大的自动化机制处理了 IP 轮换、验证码解决、浏览器指纹管理等复杂问题，使用户无需担心被搜索引擎封锁。
Bright Data 提供的 Web Unlocker API、Web Scraper 及 SERP API 构成了一套完整的数据采集解决方案，可有效应对亚马逊等高防网站的反爬挑战。
Web Unlocker API 通过请求管理、浏览器指纹伪装和内容验证三大核心组件，实现了对 CAPTCHA 的自动解决、浏览器指纹的智能处理以及请求的自动优化。Web Scraper 则提供了更高级的灵活性和控制力，能将原始数据转化为结构化格式。SERP API 专注于搜索引擎结果页的数据获取，进一步拓展了数据采集的边界。
这些工具的核心价值在于让数据采集工作变得简单高效，使用户无需深厚的编程背景也能实现专业级的数据抓取。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
将 HTML 片段转为 GitHub Flavored Markdown，支持标题、列表、链接、代码块与表格等；浏览器内处理，可链接预填。 在线工具，HTML转Markdown在线工具，online
通过删除不必要的空白来缩小和压缩JSON。 在线工具，JSON 压缩在线工具，online