在人工智能领域，一个心照不宣的秘密正在逐渐浮出水面。多位国产大模型算法工程师在接受媒体采访时曾直言不讳地指出，行业内存在一种普遍的数据获取方式，即通过'薅羊毛'来获取训练素材。这种操作虽然能降低成本，但也带来了严重的同质化和版权风险。最近，科技媒体 The Information 揭露了大模型'套壳'中最糟糕的一种形态，揭示了背后的数据之战。
让模型走向同质化的「数据捷径」
投资了 OpenAI 竞争对手 Anthropic 的门罗风投（Menlo Ventures）总经理 Matt Murphy 曾评论道：'如果所有人都用一样的数据，你又怎么会比其他人好呢？'这句话精准地指出了当前大模型行业的痛点。在大模型训练过程中，数据至关重要，且在不同阶段的侧重点有所不同。
在训练基座模型时，数据追求的是「量」，对算力要求极高，它决定了大模型对事物的基本「理解能力」。显然，不是所有初创企业都能承担得起这个费用和时间成本。因此，许多创业公司选择跳过第一步，直接使用 Meta 或 Mistral AI 开源的模型作为基座。
在这个基础上，创业公司需要针对自己的产品专注方向对模型进行微调。这一阶段数据输入量相对少，但更具针对性和高质量，可以帮助模型成为特定领域的「专家」，从而做出产品差异性。开发者需要输入「问题」「回答」，试图为模型建立特定「联想」倾向。这也是「偷数据」出现的环节。
由于 OpenAI、Anthropic 和 Google 这类大公司有足够的资源去完善地完成两个阶段的训练，它们的模型输出结果质量相对较高。缺乏自有数据的初创公司，往往会购买 GPT-4 这类最新模型的付费账户，然后根据自己模型训练的需要向 GPT-4 提问，再把回答和提问问题一并输入到模型训练中。例如，主打编程细分领域模型的开发者可以直接输入一段代码，然后问 GPT-4 这段代码有什么问题，这样就生成了一个数据材料。
理论上，大公司并不允许如此操作。然而，有消息称 OpenAI 的 Sam Altman 在去年的一次会议上对创业者表示，他们可以这样做。这固然让当下的创业者安心了一些，但谁也说不准哪天 Altman 就决定要把这「特权」收回去。Google 去年也有自己的「数据门」——不仅被指用百度的文心一言生成的中文数据来训练 Gemini，还有员工因 Google 用 ChatGPT 生成的数据训练自己的模型怒而辞职。
在行业整体「默许」下，这种情况变得越来越普遍。帮助开发者研发对话式 AI 的 Unsloth AI 联合创始人 Daniel Han 表示，其客户中大概有一半的人都会用 GPT-4 或者 Anthropic 的 Claude 生成的数据来优化自己的模型。原本用来分享有趣 ChatGPT 对话的工具 ShareGPT 成为了不少公司直接扒数据的地方，而类似 OpenPipe 这类工具则甚至可提升整个过程的自动化程度。
结果就是，现在市面上有越来越多创业公司提供大同小异的模型。这甚至衍生出如旧金山的 Martian 一般，专门为需要用 AI 服务的企业寻找「平替」方案的创业公司。但投资人并不喜欢这种被欺骗的感觉。正如《纽约时报》在最近文章中指出，目前 AI 行业缺乏标准和评测体系，人们很难统一标准地了解不同模型的表现差异或优势所在。这让投资人更重视 AI 创业公司训练数据的来源。Radical Ventures 合伙人 Rob Toews 强调说："AI 模型训练数据的质量和来源已经成为其中一个最重要的热点关注之一。没人知道未来会怎样，但任何在数据来源上不谨慎或不具备策略性的 AI 创业公司都将落后。'
数据大战中，「沉默」成为了共鸣
如果说「缺芯」是 2023 年 AI 行业的共识，那「缺数据」则是 2024 年的新主题。不仅创业公司缺，大公司更缺。无论体量是大还是小，为了获得数据，这些公司都开始在灰色地带徘徊。
早在 2021 年，OpenAI 就面临了数据短缺问题。虽然有员工提出行为不当性忧虑，最后 OpenAI 还是写了一个语音转文字工具 Whisper 来将超过 100 万小时的 YouTube 视频转为文字，用作 GPT-4 训练。在这次行动中，OpenAI 总裁 Greg Brockman 还亲自出马帮忙收集视频。
知情人士透露，当 Google 发现 OpenAI 的所作所为后，它并没有揭发斥责这些侵害创作者版权的行为，因为 Google 也要做同样的事情。Google 发言人 Matt Bryant 回应称，公司对 OpenAI 的行为并不知情，且严禁未经授权的数据抓取。除了 YouTube 以外，三位知情人士表示，Google 也在盯着旗下线上协作文档工具 Google Doc 里的数据，但其隐私政策限制了 Google 使用这些数据的方式。去年 7 月，Google 更新了隐私政策，明说可通过收集网络上的公开信息或来自其他公共来源的信息来训练 AI 模型。
对于在 AI 领域「起了大早却赶了个晚集」的 Meta 来说，虽然有法务曾警告过版权问题，最后也是决定跟随 OpenAI 的「行业先例」去使用有版权保护的书籍、文章等材料。泄露出来的录音还表明，Meta 高管们一致同意，出事了可用 2015 年作家协会诉 Google 案失败的先例来辩护。至于看起来应该是 Meta 最大优势的 Facebook 和 Instagram，事实上可用数据并不多，很多 Facebook 用户都删掉了自己早期发布的内容，而社交媒体通常也不是人们爱用来发布长篇内容的地方。
这些巨头们不愿言说的过往，构成了 AI 行业在训练数据上一致的闪烁其词。Adobe 算是其中鲜有积极讨论自家模型训练数据的大公司。最近，它也「塌房」了。Adobe 一直以来标榜公司是和创作者站在同一边，坚定只使用自家获得授权的图库来训练模型，不会像 Midjourney、Dall-E 那样擅自用有版权保护的图像素材训练。直到有人发现，Adobe 的训练数据里其实有包括 AI 生成图片，而且 Adobe 也是知情的。
虽然 Adobe 强调，模型的训练数据里只有 5% 左右的图像是 AI 生成的，但无论如何那些图像也是通过侵害创作者版权利益而造的文生图模型做出来的，因此并不完全「道德」。这个月初，Adobe 高级副总裁 Ashley Still 还在一场公开活动上说："我们在推出 Firefly 时，有企业用户会来跟我们说：『我们很爱你们在做的事，真的非常感激你没有盗取我们在网上的知识产权。』"不知道「塌房」消息出来后，这位企业用户会作何感想。
