基于抓取浏览器与数据集的 AI 模型训练数据采集方案

再之后定义 parse_page 函数，目的是解析获取到的 HTML 内容。它使用 lxml 库来解析网页，并试图提取包含商品信息的 li 元素列表。在每个 li 元素中提取商品的图片链接、标题和价格，并将它们存储到一个字典列表中作为结果返回。

def parse_page(html):
    root = etree.fromstring(html)
    lis = root.xpath('//ul[@class="srp-list"]/li')
    result = []
    for li in lis:
        img = li.xpath('.//div[@class="s-item__image"]/a/div/img/@src')
        title = li.xpath('.//div[@class="s-item__title"]/span/text()')
        price = li.xpath('.//span[@class="s-item__price"]/text()')
        result.append({"img": img, "title": title, "price": price})
    return result

最后定义整个程序的入口点。先使用 async_playwright 进行异步处理，并将 url 变量添加一个关键词'电脑'，用来搜索相关产品。然后，调用 run 函数获取网页内容，并使用 parse_page 解析页面数据。解析后的数据被写入本地文件。

async def main():
    global url
    async with async_playwright() as playwright:
        url += '电脑'
        page = await run(playwright, url)
        r = parse_page(page)
        with open('data.txt', 'w') as f:
            f.write(str(r))

if __name__ == '__main__':
    asyncio.run(main())

选购 AI 训练数据集

在 AI 模型训练过程中，数据采集往往是最耗时耗力的环节。不同网站采用不同的技术架构和反爬策略，开发者需要针对每个网站单独编写采集脚本，处理各种异常情况，整个过程既复杂又低效。针对这一痛点，预置数据集服务为 AI 开发者提供了开箱即用的数据解决方案。数据集市场汇集了全球主流网站的结构化数据，覆盖电商、社交媒体、新闻资讯等垂直领域。所有数据都经过专业的清洗和结构化处理，确保可直接用于模型训练，大幅提升 AI 项目的开发效率。

接下来一起选购 AI 数据集。登录后在控制面板选择网页数据集，即可进入数据集市场，这里有多个域名超过 200 种数据集可以直接使用。

比如说我们选择 YouTube 评论数据，可以在过滤器中设置条件筛选数据集。这里我们选择最近一个月的数据。

配置好之后就可以购买，当然也可以下载一个样本先看一下是否符合我们的要求。

数据以 CSV 或 JSON 格式交付，可以看到还是比较全面的。

总结

本文通过两个具体案例展示了数据采集的实际应用：一是利用抓取浏览器动态采集商品数据，从配置到代码实现全程演示；二是直接选购 YouTube 评论数据集，快速获取结构化数据。这两种方式各具优势，既能满足个性化需求，又能提供开箱即用的高质量数据。未来，随着 AI 技术的不断发展，对数据规模和质量的要求将愈发严格。高效合规的数据采集工具都将成为推动 AI 进步的重要助力。