开源大模型争议：是真开源还是假开源？

其实大语言模型的所谓开源，实际上是有三个对象，源码只是其中之一，大家都知道人工智能三要素：算法、算力和数据，但是到了力大飞砖的大语言模型时代，这三要素就成了算法、高算力和大数据。所以说只有同时满足这三大要素，我们才有可能最终得到一款和 ChatGPT 类似效果拔群的模型。那么源码在哪呢？就在算法，算法的核心部分主要包括有模型结构和训练方法，这两部分都有对应的源码。一款人工智能产品，尤其是大型人工智能产品，还会有许多工程问题需要解决，除了核心还需要其它配套部件。拿到源码之后，真正的挑战才刚开始，接下来才是这个世界绝大多数人、研究机构和企业注定无法迈过的门槛：高算力和大数据。高算力已经说了很多了，门槛很高，但从全世界范围来说，总归有一些企业挤挤还是有的，但是大数据就未必了。因为数据非常重要，无论是人工智能时代，还是人工智障时代，扩大数据的规模、提高数据的质量，通常都能显著提高模型的最终表现，所以说技术领先优势可以追赶，数据领先优势则就未必了。

那么，现在很多研究者在呼吁的开源，到底是要开源什么呢？开源模型，具体来说，是开源训练好的模型参数。模型参数拿到手，基本上就能完整复现能力了。当然，这还是对于大企业、大机构来说，运行大语言模型虽然消耗的算力远不如训练，但也不是单卡就能负担的。

传统开源软件与开源大模型的差别

上文也介绍到开源大模型的概念，其实大模型的开源和传统软件开源是完全不同的逻辑，开源软件因为代码完全公开，社区开发者可以参与迭代，不断提升软件能力。但开源模型像一个'黑箱'，不管是模型、算法还是数据，都无人知晓，只是最终产生一个模型开放给用户使用。开发者参与对大模型迭代帮助不大，开源大模型和开源软件是两回事，所以大部分人都是被传统的开源软件思维所误导，也正是这个原因才造成一部分人盲目的呼吁大模型厂商开源自己的大模型。

其实，开源大模型和传统开源软件在多个方面存在显著的区别，以下是它们之间的主要区别：

1. 定义与特性

• 开源大模型：是指基于开源技术和大规模数据集构建的人工智能模型，它强调开放性和可扩展性，利用大量的开源工具和资源，比如开源的深度学习框架、数据集和算法等，开源大模型还需要借助云计算和大数据等技术进行大规模的模型训练和优化。
• 传统开源软件：其源代码完全公开，允许用户自由使用、修改和分发，它的核心特点包括低成本、可协作性、透明度、灵活性和可持续性。

2. 应用领域

• 开源大模型：主要应用于人工智能领域，比如自然语言处理、图像识别、语音处理等，并取得了显著的成果。（如，GPT-3、BERT、ResNet 等都是开源大模型的代表。）
• 传统开源软件：应用于各种软件领域，包括操作系统、办公软件、开发工具等，为各种计算需求提供支持。

3. 社区与协作

• 开源大模型：其协同共建更多体现在社区繁荣，大家一起对模型进行优化、数据做丰富、工具做完善、应用做全面，开源社区可以汇聚广大科技企业、研究机构和开发者，共同推动模型技术和配套数据集、应用工具等的发展。
• 传统开源软件：其社区通常关注软件的维护、更新和功能的迭代，通过全球开发者社区的共同努力，加速软件的迭代和改进。

4. 具体实例

• 开源大模型：GPT-3 作为自然语言处理领域的代表，具有 1750 亿个参数，能够生成高质量的文本、回答问题、实现翻译等多种任务。
• 传统开源软件：如 Linux 操作系统，作为全球最大的开源项目之一，其成功证明了开源模式在软件领域的强大影响力。

所以说开源大模型和传统开源软件在定义、特性、应用领域、社区与协作以及具体实例等方面存在明显的区别。开源大模型更加注重在人工智能领域的开放性和协作性，而传统开源软件则更广泛地应用于各种软件领域，并通过所有开发者社区的共同努力推动软件技术的创新和发展。

开源软件让开源大模型'受益匪浅'

在数字化时代的浪潮中，开源软件以其独特的魅力，为开源大模型的发展注入了源源不断的活力，而且开源大模型作为人工智能领域的重要分支，正在以前所未有的速度向前发展，而这一切都离不开开源软件的影响，得益于开源软件的土壤。在上文中提到大模型的训练需要硬件、软件、数据三大要素的支撑，也就是 GPU 算力、深度学习框架和大规模数据集，但是当前主流的深度学习框架作为软件模块基本都是开源的，比如谷歌开源的 Tensorflow、百度开源的 PaddlePaddle 等，而且这两个主流深度学习框架都采用了 OSI 认证的开源许可证，可谓是名副其实的开源。

个人觉得，在基础软件平台较为统一且开源免费，这让大模型在有限开源的情况下依然可以被低成本、低门槛的开发和使用，另外一个原因就是得益于开源深度学习框架以及相关开源工具链的生态完整性，大模型创业才成为可能。

其实深度学习框架的开源，会形成广泛的开发者协作贡献，从而形成良性且蓬勃的生态，这也让底层芯片厂商愿意提供强有力的支持，比如作为 GPU 芯片巨头的英伟达，就会不遗余力的支持 Tensorflow、PaddlePaddle 等主流开源深度学习框架，这也让开发者去开发大模型的门槛降低。那么从这个角度来看，谷歌、百度等厂商早期的对基础平台的开源和持续贡献，奠定了如今开源大模型的生长的基石。

不同大模型企业，开源、闭源策略不同

根据目前全球大模型生态现状，结合市面上已有的大模型来看，可以看出来不同的大模型企业，开源、闭源的策略不尽相同。大致分为四种策略：

第一，从开源走向闭源，最典型的代表为 OpenAI。2018 年其发布的 GPT-1 完全对外开源；2019 年发布 GPT-2，分四次开源完整代码；2020 年发布 GPT-3，通过论文公开了技术细节，同时用户可通过调用 API 的方式使用模型资源，属于部分开源；2022 年 11 月推出 GPT-3.5，官方没有发布论文披露细节，2023 年 3 月开放 API；同年 3 月的 GPT-4，也仅处于开放 API 状态，技术细节不得而知。就在 5 月 13 日，OpenAI 在万众期待中推出了名为 GPT-4o 的新一代旗舰 AI 模型，新的 GPT-4o 号称是 OpenAI'有史以来最好的模型'。

第二，坚持开源，最典型的代表是 Meta。2023 年 3 月，Meta 发布开源大模型 LLaMA，可免费用于研究，研究人员向 Meta 提出申请和审核后即可使用；2023 年 7 月，Meta 发布 LLaMA 2，公开了技术论文和源代码，可免费用于研究和商业；2024 年 4 月 Meta 开源了 Llama 3。

第三，坚持闭源，最典型的代表是华为。在发布盘古大模型 3.0 时，华为云公开表示，盘古大模型全栈技术均是由华为自主创新的，没有采用任何开源技术，盘古大模型在未来也不会开源。

第四，从闭源走向开源、闭源并行，最典型代表为智谱。根据智谱 AI 的官网，GLM2 不限实例 + 不限推理或微调工具包的私有化报价此前是一年 30 万。2023 年 7 月，智谱 AI 和清华 KEG 发布公告，称为了更好地支持国产大模型开源生态，ChatGLM-6B 和 ChatGLM2-6B 权重对学术研究完全开放，并且在完成企业登记获得授权后，允许免费商业使用，与此同时，ChatGLM2-12B、ChatGLM2-32B、ChatGLM2-66B、ChatGLM2-130B 等模型仍为闭源。

所以说，大模型是否开源的策略，是根据大模型厂商自己的特色道路来决定的，而且这些策略会根据大模型厂商的自身调整而改变，不是一成不变的。

开源与闭源之争下的大模型

最近关于开源和闭源的选择是大模型领域的热点话题，比如 OpenAI 的 GPT-4 模型就是采用闭源模式，微软则开源了 WizardLM-2。在国内，阿里的通义千问开源，而华为盘古大模型则坚定选择不开源。在模式之争的背后，个人觉得是关于如何平衡技术创新、商业利益、社区参与和市场竞争力的讨论。

作为大模型市场上的一员，大模型厂商都会选择最适合自己的发展模式和路线，比如 OpenAI、百度选择了闭源路线，而 Meta、阿里云选择了开源的路线。但是，从目前的情况来看，闭源大模型在性能、效果等方面仍远远优于开源大模型，而且闭源大模型厂商在快速丰富自己的产品和服务形态，比如百度不仅拥有文心一言对话式 AI 应用，而且还推出了千帆大模型平台、ModelBuiler、Appbuilder、Agent Builder 等产品和服务，全面覆盖了个人用户、企业级客户、开发者等用户群，个人觉得这是非常不错的策略。另外，OpenAI 也在通过 GPTs 等方式展开一些新的尝试，也是比较良性的模式。而且开源不仅是开放源代码这么简单，它还得满足一些条件，比如允许大家自由地用、改和分享这个软件，甚至基于它创造新的东西。但是，开源软件也不是啥都不管，它得在某种开源许可证下发布，比如我们常听到的 GPL、Apache、BSD 和 MIT 这些许可证。

所以说来到大模型时代，开源变了么？大模型的技术浪潮，某种程度上也是由开源开启，谷歌开源了 Transformer，才有了后来 OpenAI 引爆行业的 ChatGPT。当 OpenAI 不再 Open，谷歌也不再那么 Open，大模型的开源大旗，反而被 Meta 以其 Llama 系列模型扛起，马斯克开源了 Grok 模型，位于法国巴黎的 Mistral AI，成为另外两股最被关注的大模型开源力量。值得思考的是 Llama2 在刚刚发布后不久，就有人批评说 Llama2 并不符合开源促进会（OSI）设定的定义，Llama2 的许可证包含了一定的限制，比如禁止使用 Llama2 去训练其它语言模型，如果该模型用于每月用户超过 7 亿的应用程序和服务，则需要获得 Meta 的特殊许可证。

开源大模型并不等同于开源软件，它无法充分实现多元化的协作开发模式，所以大模型开源更关乎商业策略，而不是生成方式或技术水平。大模型开源的方式和传统软件开源的方式不太相同，单单从最具代表性的 Llama 系列模型和 Mistral 系列模型，它们的开源方式就不太相同，它们的区别主要在于 Restrict License（限制许可）VS Apache。Llama 的开源属于前者，从前面描述的 Llama2 的限制方式可以看出，这种开源方式是指在开放源代码的同时，对使用、修改和分发该模型的行为施加一定的限制。除了开源方式的不同，训练一个大模型通常需要大量的数据、计算资源和专业知识来进行训练和优化，这些资源往往只有大型科技公司或研究机构才能提供。所以大模型时代的开源主体，往往是大型科技公司，或者资源优势强的创业公司，而不是个体；这也造成了，开源虽然可能吸引更广泛的社区参与，但由于技术门槛和资源需求，实际贡献可能集中在有限的专家群体中；某些大公司的开源，还有着占据竞争生态位的考量，所以对于开源条款的设计，也会有更加复杂的考虑。

个人觉得作为广大的技术开发者、使用者和创业者，我们更应该考去虑如何选择一个最合适自己实际需要的大模型平台，然后专注于应用开发，而不是去关注某一个大模型是否开源，所以说大模型开不开源不重要，也无需'道德绑架'式的要求所有大模型都开源，我们更应该关注哪个大模型更好用，更符合我们自身的实际需要。

大模型：开源干不掉闭源

随着一小部分大模型厂商宣布'部分'开源自己的大模型，导致开源大模型对闭源大模型的冲击变得非常猛烈。比如在去年 3 月的时候 Meta 发布了 Llama（羊驼），很快成为 AI 社区内最强大的开源大模型，也是许多模型的基座模型，当时就有人戏称，当前的大模型集群，就是一堆各种花色的'羊驼'。其实各个互联网、科技公司都在竞相训练、推出自己的大模型，投入了大量的计算资源和成本，如果不能有效的完成商业化，那么这些大模型就很难回收成本，在后续的迭代、更新、升级都成问题，不仅研发企业会亏个底掉，更苦恼的大概就是'前功尽弃'的用户了。

现在有个比较流行的说法有了自由开放强大的开源大模型，谁还愿意给闭源大模型送钱？答案还别说，还真的有送钱的主儿。虽然说开源是未来的方向，但闭源大模型依然有其存在意义和商业价值，按照目前的 AI 产业落地经验来看，用好大模型，还是得靠闭源。'到产业去，到产业去'，大模型的商业化终点是产业，见一斑可窥全豹，至少在短期内，大模型走向产业，落地还是要靠闭源的。还有就是大模型方面，闭源大模型的质量更高。比如 Meta 将 Llama 2 的结果，与闭源模型进行了比较，结果在 MMLU 和 GSM8K 上接近 GPT-3.5，但在编码基准上，还存在显著差距，不少数据在多样性和质量方面有所欠缺。

虽然开源大模型的优化迭代速度很快，但开源的本质和'有性繁殖'很像，就是通过大量繁殖和变异，如同开篇那张'羊驼集群'一样，面对不确定的未来，借助进化的'优胜劣汰'，让最优质的后代持续涌现，所以说开源软件的分支多，对用户来说这个选择的成本是很高的，加上开发人员众多，版本控制是一个问题。

还有在产业化方面，闭源大模型的长期服务能力更强、更可用。我觉得大模型落地，并不是接入 API、塞进数据、调参优化就结束了，但是作为一种新兴技术，大模型与业务场景的融合，还有非常多挑战，比如大模型需要通过蒸馏压缩，减小模型规模，才能在端侧部署，很多企业根本没有这类专业人才。再比如数据隐私顾虑，大模型是不能直接为产业所用的，还要通过专有场景数据进行优化，而这些数据训练完的模型会被开源开放出去，让企业顾虑重重。另外，开源大模型需要平衡技术创新自由和版权收益之间的冲突，而使用闭源大模型就没有这方面的麻烦，数据和模型的所有权、使用权都很清晰，牢牢掌握在企业自己手里。

目前开源大模型还无法达到实际的业务需求，而开源大模型使用者和 ISV 集成商，是需要获得商业回报的，如果开源大模型不可商用、效果不好、很难赚钱，那么即使免费，企业也会慎重考虑要不要投入人来开发，所以未来一段时间，闭源依然是大模型落地产业的热门选择。可能有人不理解了，开源免费商用，大家都能用上白菜价的大模型了，对开发者和企业用户多友好，怎么还说闭源好？但凡了解开源，都会支持开源，但凡支持开源，都会关注开源的商业化。开源以理想主义为源起，以商业化为蓬勃助力，是开放创新的典范，没有商业化，不可能有开源。所以，开源也好，闭源也好，谁能更早'可商用'，谁就更有未来，闭源大模型可能更占优势，毕竟有底气闭源的厂商都是有自己的优势所在的。

开发者视角：大模型开源的必要性

就像上面关于大模型开源、闭源之争所说的那样，我个人觉得大模型开源的必要性对于我们广大开发者和创业者来说不太重要，因为我们往往更在乎的是哪个大模型更好用，更符合我们自身的实际需要。但是真要我说几个大模型闭源的优点，那我从 4 个层面来简单分享一下。

1. 商业模式考虑

• 闭源模型在能力上会持续地领先，而不是一时地领先，而且闭源模型能更好地保护大模型厂商自身的商业利益和技术优势，为大模型的商业应用提供更好的保障。
• 开源模型虽然能推动技术共享和协作，但开源本身并不是一种商业模式，而是一种软件的开发、发布和传播模式，而大模型厂商更看重的是通过闭源模型实现商业化和盈利。

2. 性能与安全性

• 闭源模型在性能上会优于开源模型，比如百度的大模型文心一言在处理文本的能力上已经达到很高的水平，日均处理 Tokens 文本达 2490 亿，显示出闭源模型在性能上的优势。
• 开源模型在安全性上可能存在风险，比如开源模型可能接受到垃圾代码和低质数据，导致性能下降，而且开源模型还可能面临被恶意利用的风险，如插入后门触发机制的恶意行为。而百度的大模型通过闭源来保护模型的机密性和专利性，避免被竞争对手或恶意者利用。

3. 技术与质量控制

• 闭源模式可以确保大模型厂商对模型技术和质量的严格控制，比如百度可以自主决定模型的更新、优化和发布，从而确保模型的质量和稳定性。
• 开源模式可能会导致技术路线的分散和混乱，使得模型的标准化和一致性难以保证。而选择闭源可以更好地掌控技术路线和模型质量。

4. 市场趋势与主流方向

• 其实'闭源大模型 + 公有云'已成为全球 AI 市场的主流趋势，这种趋势能够实现比开源大模型性能更好、成本更低的综合效果，并促进 AI 应用生态的繁荣。所以说选择闭源也是为了顺应这一市场趋势和主流方向。

通过上面这四个方面的分析，想必大家都知道一些大模型厂商选择闭源大模型，主要是出于商业模式、性能与安全性、技术与质量控制以及市场趋势等多方面的考虑。闭源模式能够更好地保护大模型厂商的商业利益和技术优势，确保模型的性能和安全性，并顺应市场趋势和主流方向。

未来展望：开源与闭源的融合趋势

展望未来，开源与闭源并非零和博弈。随着技术的成熟，两者界限可能会进一步模糊。一方面，闭源模型可以通过 API 形式提供服务，降低使用门槛，类似于 SaaS 模式；另一方面，开源模型可以通过社区协作不断迭代，形成事实标准。

对于开发者而言，理解两者的本质区别至关重要。闭源适合追求极致性能、安全性和稳定性的生产环境；开源则适合探索新技术、定制化开发和教学科研。未来的大模型生态，很可能是混合模式：核心能力闭源以保证商业闭环，周边工具链和基础组件开源以促进生态繁荣。这种策略既能保护厂商利益，又能激发社区活力，最终推动整个 AI 行业的健康发展。

因此，在评估大模型时，不应单纯纠结于'开源'或'闭源'的标签，而应关注其实际能力、生态支持度以及是否符合业务场景需求。只有理性看待开源与闭源的优劣，才能在技术浪潮中找到最适合的发展路径。