eBay 商品数据采集实战：基于 IPIDEA 网页抓取 API 的 Python 接入方案

3. 获取示例代码

配置完成后，选择对应编程语言（此处选用 Python）获取示例代码。

import requests
import json

def main():
    client = requests.Session()
    target_url = "https://scraper.ipidea.net/builder"
    spider_parameters = [
        {
            "url": "https://www.ebay.com/itm/187538926483?_skw=Apple&itmmeta=01K4KYKPQW7M913YDTWF9EJKQ4&hash=item2baa30eb93:g:VbMAAeSwtSRot5L8&itmprp=enc%3AAQAKAAAA4MHg7L1Zz0LA5DYYmRTS30kFPVExlz%2FTbUuctB71Yk%2FfQV0aiX%2BN2ICzGj8BIeYBUa7tIGv3VKEgsvuXC0PvIFFvjxEBfsALP5m0Rkcclb576wHpV5%2FGunXNmnt9grpWOipLuKMA0RDkORHa96xYJy8rg%2BYGIi2l2d0Iw2K%2FcLiqP7TlRBd1LsXAjnXShdLOq%2BFxcbaNCarcoIJ%2Fp5DgBLl5UK3WHBVGnpUQZqOMSz1JX0axUzL%2BxlVrnBGK0wekqYG6ShKyf5iRg5%2BY%2F35FueGxIeViMX5ZU5%2B8nFwIGsMl%7Ctkp%3ABFBMjOzO_qRm"
        },
        {
            "url": "https://www.ebay.com/itm/134042783029?_trkparms=amclksrc%3DITM%26aid%3D777008%26algo%3DPERSONAL.TOPIC%26ao%3D1%26asc%3D20230823115209%26meid%3Dab2275e853cd4322bf89abeadb8059b6%26pid%3D101800%26rk%3D1%26rkt%3D1%26itm%3D134042783029%26pmt%3D1%26noa%3D1%26pg%3D4375194%26algv%3DRecentlyViewedItemsV2SignedOut&_trksid=p4375194.c101800.m5481&_trkparms=parentrq%3A384b525a18e0a8d34d3f1e79fffe9de5%7Cpageci%3A11d381b5-e149-11ee-846f-7e8c3c878a6e%7Ciid%3A1%7Cvlpname%3Avlp_homepage"
        }
    ]
    spider_parameters_json = json.dumps(spider_parameters)
    form_data = {
        "spider_name": "ebay.com",
        "spider_id": "ebay_ebay_by-url",
        "spider_parameters": spider_parameters_json,
        "spider_errors": "true",
        "file_name": "{{TasksID}}"
    }
    headers = {
        "Authorization": "Bearer <YOUR_API_TOKEN>",
        "Content-Type": "application/x-www-form-urlencoded"
    }
    try:
        resp = client.post(target_url, data=form_data, headers=headers)
        resp.raise_for_status()
        print(f"Status Code: {resp.status_code}")
        print(f"Response Body: {resp.text}")
    except requests.exceptions.RequestException as e:
        print(f"Error sending request: {e}")

if __name__ == "__main__":
    main()

4. 提交请求与查看任务

提交请求后，可在任务列表中查看抓取进度。

抓取成功后，可选择多种结构化格式下载数据，支持 JSON、CSV、XLSX 三种文件类型。

5. 本地调用示例

在本地 IDE 中运行脚本，配置 API Token 与目标链接，通过 POST 请求提交任务。

import requests
import json

# -------------------------- 可配置参数（按需修改） --------------------------
API_TOKEN = "<YOUR_API_TOKEN>"  # 你的 API 令牌
TARGET_URL = "https://scraper.ipidea.net/builder"  # 抓取接口地址
EBAY_SPIDER_NAME = "ebay.com"  # 名称
EBAY_SPIDER_ID = "ebay_ebay_by-url"  # 按 URL 抓取的 ID

# 待抓取的 eBay 商品链接（支持多个，直接加字典即可）
SPIDER_PARAMS = [
    {
        "url": "https://www.ebay.com/itm/134042783029?_trkparms=amclksrc%3DITM%26aid%3D777008%26algo%3DPERSONAL.TOPIC%26ao%3D1%26asc%3D20230823115209%26meid%3Dab2275e853cd4322bf89abeadb8059b6%26pid%3D101800%26rk%3D1%26rkt%3D1%26itm%3D134042783029%26pmt%3D1%26noa%3D1%26pg%3D4375194%26algv%3DRecentlyViewedItemsV2SignedOut&_trksid=p4375194.c101800.m5481&_trkparms=parentrq%3A384b525a18e0a8d34d3f1e79fffe9de5%7Cpageci%3A11d381b5-e149-11ee-846f-7e8c3c878a6e%7Ciid%3A1%7Cvlpname%3Avlp_homepage"
    }
]
REQUEST_TIMEOUT = 30  # 请求超时时间（秒）
# ---------------------------------------------------------------------------

def main():
    client = requests.Session()
    form_data = {
        "spider_name": EBAY_SPIDER_NAME,
        "spider_id": EBAY_SPIDER_ID,
        "spider_parameters": json.dumps(SPIDER_PARAMS, ensure_ascii=False),
        "spider_errors": "true",
        "file_name": "{{TasksID}}"
    }
    headers = {
        "Authorization": f"Bearer {API_TOKEN}",
        "Content-Type": "application/x-www-form-urlencoded"
    }
    try:
        resp = client.post(
            url=TARGET_URL,
            data=form_data,
            headers=headers,
            timeout=REQUEST_TIMEOUT
        )
        resp.raise_for_status()
        resp_json = resp.json()
        print(f"请求成功 | 状态码：{resp.status_code}")
        print(f"返回数据：{json.dumps(resp_json, indent=2, ensure_ascii=False)}")
    except requests.exceptions.HTTPError as e:
        print(f"HTTP 请求错误：{e}")
    except requests.exceptions.Timeout:
        print(f"请求超时（超过{REQUEST_TIMEOUT}秒），请检查网络或接口状态")
    except json.JSONDecodeError:
        print(f"接口返回非 JSON 格式，原始内容：{resp.text}")
    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}")

if __name__ == "__main__":
    main()

关键词抓取分析

1. 选择抓取方式

选择关键词抓取模式，覆盖数码、美妆、服饰等多电商类目。

2. 添加关键词

添加如 "wireless headphones" 等关键词，支撑跨品类趋势与细分人群偏好分析。

3. 运行与解析

复制示例代码并在本地运行，等待加载完成后下载数据。通过分析抓取信息，可获取商品售价、销量、库存及卖家分布等核心数据。

工作流程

1. 选择目标抓取工具（如 eBay 信息抓取工具）。
2. 填写 Token、抓取方式和目标 URL。
3. 复制系统生成的示例代码到本地运行。
4. 平台自动完成代理调度、页面渲染与数据结构化提取。
5. 返回 JSON 或 CSV 格式的结构化抓取结果。

总结

利用网页抓取 API 可解决跨境电商数据采集中的 IP 限制、合规难与开发成本高的问题。通过可视化配置 + 代码接入的方式，实现稳定、高成功率、低成本的数据获取。本文以 eBay 商品采集为例，展示了从配置、抓取到结果下载的完整流程。