eBay 商品数据采集实战：Python 接入 IPIDEA API

3. 任务执行与结果下载

提交请求后，可在后台查看任务状态。抓取成功后，支持 JSON、CSV、XLSX 等多种结构化格式下载数据。

4. 定时任务配置

支持创建定时任务，设置分钟、小时或每日周期，指定开始时间并关联抓取工具，实现自动周期性执行。

5. 本地调用优化

在本地 PyCharm 中调用接口时，建议增加超时设置与异常捕获，细化处理 HTTP 错误、超时及 JSON 解析异常。

import requests
import json

# 可配置参数
API_TOKEN = "YOUR_API_TOKEN"
TARGET_URL = "https://scraper.ipidea.net/builder"
EBAY_SPIDER_NAME = "ebay.com"
EBAY_SPIDER_ID = "ebay_ebay_by-url"
SPIDER_PARAMS = [
    { "url": "https://www.ebay.com/itm/134042783029" }
]
REQUEST_TIMEOUT = 30

def main():
    client = requests.Session()
    form_data = {
        "spider_name": EBAY_SPIDER_NAME,
        "spider_id": EBAY_SPIDER_ID,
        "spider_parameters": json.dumps(SPIDER_PARAMS, ensure_ascii=False),
        "spider_errors": "true",
        "file_name": "{{TasksID}}"
    }
    headers = {
        "Authorization": f"Bearer {API_TOKEN}",
        "Content-Type": "application/x-www-form-urlencoded"
    }
    try:
        resp = client.post(url=TARGET_URL, data=form_data, headers=headers, timeout=REQUEST_TIMEOUT)
        resp.raise_for_status()
        resp_json = resp.json()
        print(f"请求成功 | 状态码：{resp.status_code}")
        print(f"返回数据：{json.dumps(resp_json, indent=2, ensure_ascii=False)}")
    except requests.exceptions.HTTPError as e:
        print(f"HTTP 请求错误：{e}")
    except requests.exceptions.Timeout:
        print(f"请求超时（超过{REQUEST_TIMEOUT}秒）")
    except json.JSONDecodeError:
        print(f"接口返回非 JSON 格式")
    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}")

if __name__ == "__main__":
    main()

关键词抓取案例分析

针对特定类目（如耳机），可通过关键词模式批量抓取：

1. 选择关键词抓取方式。
2. 添加覆盖数码、美妆等多类目的关键词列表。
3. 运行代码并分析返回数据，提取价格、销量、库存、发货地等核心信息。

工作流程

1. 选择目标抓取工具（如 eBay 信息抓取工具）。
2. 填写 Token、抓取方式和目标 URL。
3. 复制系统生成的示例代码到本地运行。
4. 系统自动完成代理调度、页面渲染与数据结构化提取。
5. 返回 JSON 或 CSV 格式的结构化抓取结果。

结语

通过网页抓取 API，结合全球合规住宅 IP 与智能抓取能力，可有效解决电商数据采集中的反爬、合规及开发成本问题。可视化配置配合一行代码接入，可实现稳定、高成功率、低成本的数据获取，快速构建可直接投入业务的全球电商数据采集工具。