Python 调用 IPIDEA API 实现 eBay 商品数据自动化采集

Python 调用 IPIDEA API 实现 eBay 商品数据自动化采集

背景与方案

在跨境电商运营或 AI 模型训练场景中，获取公开电商商品信息往往面临反爬机制、IP 封禁及合规风险。自建爬虫需要维护复杂的代理池和解析逻辑，成本高且不稳定。使用成熟的网页抓取 API 可以规避这些技术门槛，通过标准化接口直接获取结构化数据。

本文以 eBay 为例，演示如何通过 Python 接入 IPIDEA 网页抓取 API，完成从 URL 到关键词的多种数据采集模式，并处理常见的网络异常。

核心参数配置

API 请求通常包含以下关键要素：

• Endpoint: https://scraper.ipidea.net/builder
• 认证方式: Bearer Token (Authorization Header)
• 数据格式: JSON 输入/输出
• 计费模式: 按成功结果计费

注意：实际开发中请勿将 API Token 硬编码在代码库中，建议通过环境变量管理敏感信息。

实战示例：URL 模式抓取

若已知具体商品链接，可直接提交 URL 列表进行解析。这种方式适合定点监控特定 SKU 的价格或库存变化。

import requests
import json

def fetch_product_by_url():
    # 初始化会话，复用连接提升效率
    client = requests.Session()
    
    # 目标接口地址
    target_url = "https://scraper.ipidea.net/builder"
    
    # 待抓取的 eBay 商品链接（支持批量）
    spider_parameters = [
        {
            "url": "https://www.ebay.com/itm/187538926483"
        },
        {
            "url": "https://www.ebay.com/itm/134042783029"
        }
    ]
    
    # 构造表单数据
    form_data = {
        "spider_name": "ebay.com",
        "spider_id": "ebay_ebay_by-url",
        "spider_parameters": json.dumps(spider_parameters, ensure_ascii=False),
        "spider_errors": "true",
        "file_name": "{{TasksID}}"  # 系统自动生成的任务 ID
    }
    
    # 请求头配置
    headers = {
        : ,
        : 
    }
    
    :
        
        resp = client.post(
            url=target_url,
            data=form_data,
            headers=headers,
            timeout=
        )
        resp.raise_for_status()  
        
        
        result = resp.json()
        ()
        (json.dumps(result, indent=, ensure_ascii=))
        
     requests.exceptions.HTTPError  e:
        ()
           ():
            ()
     requests.exceptions.Timeout:
        ()
     json.JSONDecodeError:
        ()
     Exception  e:
        ()

 __name__ == :
    fetch_product_by_url()