最近两周,有关开源 PK 闭源的讨论吸引了许多人的关注。
事情是这样的:
在不久前的百度 Create 大会上,李彦宏放出观点:开源模型的能力会被闭源远远甩在身后。一时间,周鸿祎、傅盛等创业者纷纷表达了反对的观点。
紧接着,在北京时间 3 月 15 日凌晨 2 点,大洋彼岸,Meta 的开源大模型 Llama 3 发布,它被视作全球开源大模型的「顶配」,也是国内众多大模型的基石——许多模型都是基于 Llama 3 预训练而来。
尤其值得注意的是,Llama 3 发布了 8B 和 70B 的两个版本,一些方面的性能已经超越了一部分闭源模型,还有一个 400B 的大参数模型正在来的路上(尚未发布),但据称,其性能将直逼 GPT-4。
看起来,李彦宏被打脸了。但事实真的如此吗?
为了厘清大模型开源的一系列问题,更生动、直观地理解这些(对于普通人来说)略显艰深的技术,我访谈了全球最大的开源 AI 社区 Hugging Face 的中国区负责人王铁震,试图还原:开源在全球创新、以及在中国的发展历史。内容还包括:
如何理解 Llama 3 发布的意义?
大模型的开源究竟怎么个「开」法?
开发者训练模型、改模型的过程是什么样的?
在当下火热的 AI 浪潮中,开源、闭源的选择对大模型创业者来说,究竟意味着什么?
以下是访谈后整理的笔记:
什么是开源?
如果从国内互联网历史看,那时就有了许多独特的开源文化,比如字幕组就是一种开源。
字幕本身它就是一个 SRT 文件——一个文档上上有时间线对应不同的文本。志愿者贡献做字幕的过程和现在的开源几乎一样:比如会有人先在论坛里公布:现在有某部电影需要配字幕,接下来,一些志愿者就会报名,报名之后会有分工,水平高一些的人会负责审核——需要对齐所有人的工作、并检查错误、最后压片发布。审核这个角色需要有协调组织的能力、耐心和责任心,任务相对较重,影响力也更大。
如果类比到开源项目里,审核的角色叫做 maintainer(维护者)。ta 是项目里最核心的负责人,负责把大家交过来的所有代码审核过之后,合并到主干任务里。而分领不同任务的这些开发者就叫 contributor(贡献者)。
大致是这么个流程:maintainer 定任务、分工给 contributor、maintainer 对齐、发布。
开源的价值与贡献
过去一年,大模型的推理成本实际上下降了 100 倍。这其中很多工作都是开源社群推动的。
因为在开源的机制和社区下,每一个推动工作的开发者,他可以不需要知道深度学习的所有数学原理,不需要自己有很多卡,只要有爱好、有想法,都可以参与贡献自己的力量。
这大大降低了参与门槛和迭代周期,也是技术飞速发展的要素之一。
开源的信仰,即相信:众人拾柴火焰高。
Hugging Face 的创始人 Clam 曾说过,「如果没有开放科学,没有开源,比如说谷歌没有分享他们「attention is all you need」的论文、Bert 论文、原生扩散论文,我们可能要过 30、40、50 年才能够达到今天的水平。」
而事实上,今天我们已经被开源包围了:我们所使用的安卓系统、网页浏览器如 Chrome 和 Firefox,都是著名的开源项目。以及区块链领域——所有 web3 相关的工作都是开源。开源意味着流程、分工、贡献全都透明化,更能群策群力,也更能确保数据使用的安全性。
开源的「乌托邦」主义:氛围更好,更公开透明,更能调动大家的积极性
大厂的工程师都是经过非常严格的筛选,按理来说技术实力都很强,但他们却不如开源社区里的开发者们有激情——开源社区里,开发者们可能一开始并不是特别厉害,但因为能够参与到一些重要的开源项目,极有活力,效率也高,合作氛围极其融洽。
与之相对的,是在科技大厂里常常因为组织架构调整,导致 A 做了很久的项目被 B 接手了,最后项目黄了。
开源社区更容易让人参与到一个事情里面,因为所有的事情都是公开透明的,全世界对这个事情感兴趣的人都会加入进来。尤其是项目早期,因为参与者少,每一个人的贡献都是珍贵的。
同时,因为参与门槛被降到最低,开源社区能实现更好的资源利用。
在公司里,往往需要押注(或者说赌)技术发展的方向——有人认为要做 a 技术,有人认为该做 b 技术,但最后得选定一个方向将资源集中。
但在开源社区,因为大家基于爱好自由选择,a 和 b 两个方向都会得到发展。
大模型时代,第一次出现了开源和闭源「齐头并进」
像 Linux、MySQL、云架构等开源技术,历史上都一定滞后于当时最先进的技术。大模型是第一次出现开源和闭源齐头并进的状态。
原因在于,开源技术,需要感兴趣的开发者能在一起能够有效地去协作,这需要一些基础条件加持:比如高速网络、开源平台等。在 Linux 刚开始发展的那个时代,这些条件都不健全(比如能够访问到 Linux 代码的人也比较少、没有好的管理工具等)。
那时,开源技术只属于少部分极客。现在,网络、开源平台和各类管理工具已经发展得很完备,所以当下的开源时代,更多人是可以参与建设的,甚至普通人。


