Python 接入 IPIDEA API 实现 eBay 商品数据全自动化采集

3. 提交请求与查看结果

代码运行后，可在后台查看任务状态。抓取成功后，支持 JSON、CSV、XLSX 三种结构化格式下载。

此外，控制台还支持创建定时任务，设置分钟、小时或每日周期自动执行，适合长期监控场景。

4. 本地 PyCharm 调用优化

在实际开发中，建议将敏感信息（如 Token）放入环境变量管理，并增加超时控制与异常捕获逻辑。

import requests
import json

# -------------------------- 可配置参数 --------------------------
API_TOKEN = "YOUR_API_TOKEN"  # 请从环境变量读取
TARGET_URL = "https://scraper.ipidea.net/builder"
EBAY_SPIDER_NAME = "ebay.com"
EBAY_SPIDER_ID = "ebay_ebay_by-url"
REQUEST_TIMEOUT = 30

# 待抓取的 eBay 商品链接
SPIDER_PARAMS = [
    { "url": "https://www.ebay.com/itm/134042783029?_trkparms=..." } 
]
# ---------------------------------------------------------------------------

def main():
    client = requests.Session()
    
    form_data = {
        "spider_name": EBAY_SPIDER_NAME,
        "spider_id": EBAY_SPIDER_ID,
        "spider_parameters": json.dumps(SPIDER_PARAMS, ensure_ascii=False),
        "spider_errors": "true",
        "file_name": "{{TasksID}}"
    }
    
    headers = {
        "Authorization": f"Bearer {API_TOKEN}",
        "Content-Type": "application/x-www-form-urlencoded"
    }
    
    try:
        resp = client.post(
            url=TARGET_URL,
            data=form_data,
            headers=headers,
            timeout=REQUEST_TIMEOUT
        )
        resp.raise_for_status()
        resp_json = resp.json()
        print(f"请求成功 | 状态码：{resp.status_code}")
        print(f"返回数据：{json.dumps(resp_json, indent=2, ensure_ascii=False)}")
    except requests.exceptions.HTTPError as e:
        print(f"HTTP 请求错误：{e}")
    except requests.exceptions.Timeout:
        print(f"请求超时（超过{REQUEST_TIMEOUT}秒），请检查网络或接口状态")
    except json.JSONDecodeError:
        print(f"接口返回非 JSON 格式，原始内容：{resp.text}")
    except requests.exceptions.RequestException as e:
        print(f"请求失败：{e}")

if __name__ == "__main__":
    main()

IPIDEA API 抓取流程解析

整体流程清晰简洁：

1. 选择目标抓取工具（如 eBay 信息抓取工具）。
2. 填写 Token、抓取方式和目标 URL。
3. 复制系统生成的示例代码到本地运行。
4. IPIDEA 自动完成代理调度、页面渲染与数据结构化提取。
5. 返回 JSON 或 CSV 格式的结构化抓取结果。

总结

IPIDEA 网页抓取 API 通过全球合规住宅 IP、智能抓取及自动验证码跳过能力，解决了跨境电商数据采集中的 IP 限制、合规难与开发成本高的问题。依托可视化配置加一行代码接入的方式，可实现稳定、高成功率、低成本的数据获取。本次实战以 eBay 商品采集为例，完整复现了从配置、抓取到结果下载的流程，展示了如何快速构建可直接投入业务的全球电商数据采集工具。