项目背景与需求
今年开年给一个做户外用品的老客户搭 AI 选品智能体，踩了我做爬虫+AI 这几年最憋屈的一个坑。
客户的需求很明确：做一套完全本地化的竞品监控选品系统，每天自动爬 3 个垂直平台的新品数据，洗干净、结构化之后直接喂给选品智能体，能自动做价格带分析、卖点拆解、库存预警，所有数据绝对不能出本地服务器——毕竟竞品监控的核心数据，一旦泄露就是商业事故。
传统方案的痛点
最开始我搭的传统方案，四个模块拆得明明白白：
- 用 Playwright+BeautifulSoup 手搓爬虫，写了快 600 行规则适配 3 个平台的页面；
- 用 Python 写了一套数据清洗脚本，去重、格式标准化、过滤广告；
- 用 Milvus 搭本地向量库，把清洗后的数据转成向量入库；
- 用 LangChain 搭选品智能体，对接向量库做分析和问答。
结果上线不到两周，问题全炸了：先是其中一个平台前端大改版，类名全换成了随机哈希，爬虫直接废了，熬了两个通宵重写规则；然后是清洗脚本和向量入库的格式对不上，智能体检索出来的数据全是错的；最头疼的是，客户要加一个新的数据源，我要从头到尾改一遍爬虫、清洗、入库的代码，前前后后花了快一周。
也是那时候我突然意识到：我们做了这么久的 AI 智能体，天天喊'数据是大模型的燃料'，但从网页到智能体能用的高质量数据，这条管道从来就没真正打通——要么是云端 API 有数据泄露风险，要么是模块之间全是胶水代码，改一个地方全链路都要动，要么是爬虫规则维护成本高到离谱。
解决方案：Scrapling 与 OpenClaw 整合
直到我把 Scrapling v0.4 的本地自适应爬虫，和 OpenClaw v1.2 的本地工业级 Agent 框架做了深度整合，才真正搭出了一套全本地闭环。
