大模型进入加速发展的第二年,技术迭代和竞争更为激烈。文生视频 Sora 世界模拟器、谷歌 Gemini 1.5、Meta 的 V-JEPA 等模型相继推出,Claude3 在能力上超越了 GPT4。OpenAI 的 GPT5 呼之欲出,其创始人不仅自研芯片,还投资了可控核聚变公司,储备未来的关键资源——算力和能源。
在算力紧平衡、数据资源荒即将到来的背景下,面对纷繁复杂、日新月异的变革,本文试图对未来大模型的发展做出预判,供行业参考。
判断一:中国基础大模型的数量会快速收敛
据不完全统计,中国有超过 200 个大模型,被称为'百模大战'。但进入 2024 年,随着 Claude3 等基础大模型能力的加速提升,以及 Sora 视频大模型能力的惊人进步,国内一些资源不强的厂商,以及所谓的'套壳'大模型厂商将望而却步。这些厂商无法保证在算力资源、人才密度上的持续跟进,进而放弃在基础大模型领域的投入。行业将呈现几家大厂加 10 家以内明星创业企业同台或联手竞技的格局。
从国外看,大厂加创业公司的模式是行业的突出特点。例如微软和 OpenAI,谷歌和 DeepMind,亚马逊和 Anthropic 的组合。就连过去投资活动并不显著的芯片巨头英伟达,2023 年也投出了 35 个生成式 AI 相关项目,比 2022 年多 6 倍。而且从国外来看,基础大模型领域并未出现百模大战的'盛景',市场集中度正在提高。
判断二:万卡是一个入门的算力
近日有媒体报道,AI 问答引擎 Perplexity 的创始人兼首席执行官 Srinivas 在播客中表示:'我试图从 Meta 聘请一位非常资深的研究员,你知道对方怎么回应吗?——等你有了 10000 块 H100 GPU 再来找我。'
虽然只是一则招聘吐槽,但也表明了当前基础大模型训练对算力的巨大需求。在'大力出奇迹'的大模型范式下,算力的多少一定程度上决定了智能的高低。据传 GPT4 训练大概用 2.5 万张 A100,GPT5 训练大约用 5 万张 H100(约等同于 15 万张 A100 的算力)。扎克伯格近期表示,计划今年年底前向英伟达购买 35 万张 H100 芯片,将形成相当于 60 万张 H100 的总算力,训练 Llama 3 大模型,以追赶 GPT5。
反观国内,2023 年前三季度,根据英伟达中国营收推算,中国约新购买了相当于 58 万张 A100 的算力,但还远不如 Meta 一家企业从英伟达获得的算力。美国芯片禁令下,中国无法补充先进算力,导致处于严重被动。国内芯片厂商如华为、海光等,受制于产能问题,供货量距离大模型训练需求尚有较大缺口。同时,相比 CUDA,国内软件生态薄弱,国产 AI 芯片普遍存在适配周期长、成本高、难度大等问题,无形中延长了国产大模型训练周期。
判断三:大模型的能力取决于团队顶尖人才的认知
大模型是一个复杂的算法和工程难题,这一轮大模型的发展很大程度上是由顶尖人才驱动的,人才密度和强度至关重要。OpenAI 的三位灵魂人物是 CEO Sam Altman、总裁 Greg Brockman,以及图灵奖得主辛顿的爱徒、首席科学家伊利亚。他们在 OpenAI 成立的前七年间,在无收入的情况下,坚定 AGI 信仰,并持续投入数十亿美元,即便受到无数的不解和嘲讽也保持初心,才造就了 ChatGPT 一鸣惊人的神话。
被寄予厚望的 Claude 模型公司 Anthropic,是由 OpenAI 前研究副总裁 Dario Amodei、GPT3 论文一作 Tom Brown 等人在 2021 年共同创立。创始成员大多为 OpenAI 的核心员工,曾经深度参与过 GPT3、引入人类偏好的强化学习等多项研究。创始成员对于大模型的深刻理解,是 Claude3 今天取得突破性进展的重要原因。
Character.ai 是用户访问量仅次于 GPT 的聊天陪伴应用,这家独角兽虽然只有 22 人,但其创始人 Noam Shazeer 是 Google 的前 200 号员工,在 Google 工作的 17 年中,他参与了 Google 的一系列 AI 项目和研究,是《Attention is All You Need》论文也就是 Transformer 架构的核心作者,以及 Google LaMDA 项目的核心成员。
在开源领域效果和口碑很好的 Mistral,人数也仅有 20 多人,成立于 2023 年 5 月。公司由前 DeepMind、前 Meta 科学家创办而成,具备深厚的技术背景。三位创始人皆具有大模型开发经验,参与过 LLaMA 系列大模型的开发。在基准测试中以 81.2% 超越了谷歌 Gemini Pro、GPT3.5、Meta Llama 2-70B 三款模型,仅次于 GPT4。
判断四:开源大模型难以胜过闭源
开源是软件领域多年来的重要趋势,全球优秀的开发者在各种开源软件上的持续贡献,不仅持续优化软件版本,也造成了各类应用生态的繁荣。可以说,开源对于当今的 IT 技术体系的发展功不可没。
但从 GPT3 开始,OpenAI 选择了闭源的方式,让最领先的大模型的开源之路戛然而止。当前,业界口碑较好的开源大模型基本均处在 GPT3.5 的水平,包括 Meta 的 LLaMA2,Mistral 的 Mistral 8x7B、智谱的 ChatGLM-6B、GLM-130B 等。2 月底,谷歌开源了 Gemma 系列模型,分为 2B 和 7B 两种尺寸,2B 版本可直接在笔记本电脑上运行。近日,马斯克也表示,本周将开源 xAI 自己的大模型 Grok。
对于大模型而言,每一个大版本的迭代都具有很强的代际碾压效应,这导致很多基于 GPT 创业的小公司面临一夜之间倒闭的风险。如读文件的 ChatPDF、明星独角兽 Jasper 等,都被 GPT 的更新所碾压。甚至有行业开发者表示,千万不要基于 OpenAI 做 PaaS,否则必然会被 OpenAI 的下一个版本替代。因此,在原有开源基础模型上做优化的方式,很可能被下一个版本的功能所替代。而且更为重要的是,原有的开源方式更适合做生态,即在底层内核保持相对稳定的基础上,通过开源来实现应用的创新,但受限于算力和算法等,开源生态的开发者没有能力对基础大模型给予能力迭代的贡献,这使得原有集众智的开源模式很难在基础大模型自身的快速演进上复现。


