为什么开源语言大模型很重要？

在大型语言模型（LLM）领域，开源究竟意味着什么？假设开源社区拥有了真正的开源 LLM，其权重、数据集、代码和基础设施都可公开获取，我们又将从中获得哪些重要收益？这是当前技术社区亟待厘清的核心问题。

一、开源的定义与现状

开源确实令人着迷。作为拥有悠久开源传统的学术界和工业界的一员，我们普遍都是开源软件的忠实拥护者。但坦白来讲，人们关于开源的众多讨论都显得极其模糊。开源的倡导者往往强调开源 LLM 毋庸置疑的优势，却鲜有说明他们希望看到的具体内容。

这促使我们开始思考开源 LLM 的重要性，以及它们可能带来的益处。首先让我们锚定一个具体的讨论主题，对于 LLM 来说，究竟什么是开源？以下是几种定义：

公开可用的权重：LLaMA 2 和 Mistral 这样的模型属于这一类别。这些模型基于相当宽松的许可证发布构成模型的权重文件，以便用户能够获取这些模型并进行自定义部署。这是目前最主流的'开源'形式。
公开可用的数据集：据我们所知，目前还没有任何主流的开源 LLM 这样做，但公开模型数据将会产生重要影响，它将使社区了解模型的潜在偏见和缺陷，从而进行更有针对性的改进。
公开可用的训练代码及基础设施：迄今为止，大部分大模型构建者都将这一点严格保密。因为模型训练过程中包含大量的配置参数，再加上人类反馈强化学习（RLHF）的过程，因此公开这类信息有助于社区从基本原理层面理解模型。

正如其他地方所讨论的那样，数据集的创建过程和嵌入在模型训练过程中的专业知识都被严格保密。主流的开源模型供应商很少（或不）发布有关用户数据集的信息，这让开源社区很失望。因此，到目前为止，我们主要见到的是公开可用的模型权重，但关于数据集、训练代码和基础设施的信息却少之又少。

二、真正开源的价值分析

让我们回到最初的问题。假设开源倡导者赢得了这场战役，如果我们拥有真正开源的语言大模型，其权重、数据集以及代码和基础设施都可获取，那么我们将从中获得哪些重要价值？

1. 社区监督与安全对齐

了解模型的盲点和缺陷对于未来的模型改进和对齐研究至关重要。通过简单地与 GPT 这样的模型进行聊天交互或使用其 API，就已经能够发现很多盲点，研究人员可以通过托管模型来推动边界，用于测试策略。在洞察模型的偏见方面，模型底层数据集的可见性能否提供有价值的见解，这一点仍有待探讨。

显然，模型构建者所做的编辑选择（如删除或包含数据）十分重要；然而，鉴于数据使用的大规模投资和潜在的法律风险，我们看到这些数据集完整公开的可能性非常小 (除非政府干预)。但是，即使只有权重和代码开源，社区也能通过红队测试（Red Teaming）来挖掘安全漏洞，这对于提升整个行业的安全性是不可或缺的。

2. 模型重构与科研复现

在缺乏相关数据集和代码信息的情况下，这一点让开源社区感到非常沮丧。理想情况下，社区通过重新创建现有模型可以让研究人员尝试不同的模型参数和对齐方式。但现实情况是，这些模型的规模使得重新创建变得不大可能，甚至完全不可行。

仅仅是训练所需的 GPU 成本就令人望而却步，而 RLHF 所需的基础设施和人力成本更是难以负担。与普通的存储基础设施不同，用户实际上可以使用 Minio 来代替 AWS S3，但重新创建模型所需的硬件和时间成本使得这一有效的实验变得无法完成。社区所付出的努力不足以重新创建 GPT（甚至是 LLaMA）规模级别的模型———公共部门或大型研究机构可能会取得一定进展，但自下而上的实验仍然不可能实现。对齐研究很可能必须被视为现有模型的附加内容，而非从头开始的独立项目。

3. 自托管与定制部署

这是一个关注热点，尽管在某些高度敏感的安全场景下，企业可能需要定制的大模型。我们确信 OpenAI 和 Azure（以及相应的 AWS + Anthropic 和 GCP）会解决这一问题。由于模型质量存在巨大差距，用户如果可以安全部署私有模型（特别是具备适当的数据共享保护），那么他们选择开源 LLM 的意愿就会降低。

就在本周，我们与一家市值约 1000 亿美元的科技公司进行了交流，他们正与一家主要的云服务供应商洽谈共享私人信息的条款，用于云服务供应商的 LLM 部署。现实情况是，主流的模型供应商具备规模经济与高效部署的优势，其他的竞争对手难以超越。然而，对于金融、医疗等强监管行业，数据不出域是硬性要求，开源模型允许企业在本地私有云或边缘设备上运行推理服务，避免数据泄露风险。

4. 专有化模型的基础

这在我们之前的文章中提到过，也是最具说服力的观点。开源 LLM 模型是开发专有化模型的良好基础。虽然 GPT 微调 API 功能强大，但它仅能通过 LoRA 进行微调（而不是完全权重更新），并且限制用户应用更高级的模型专有技术（如 RLHF 或 RLCF），这些技术在专有化模型日益成熟时很可能极具价值。

这就是未来几年中开源模型最有可能蓬勃发展的领域。开源模型在专有化方面已经十分强大。有人指出，Code-Llama 34B 已经是目前最好的代码模型，对此我们非常赞同！这是领域专用模型的一个绝佳的成功案例。

不幸的是，由于训练模型所需的 GPU 和时间投资，微调可能仍然非常昂贵。幸运的是，我们已经从许多实际案例中得知（包括我们自己的工作中），微调模型不需要达到 GPT-4 等模型的规模和通用性。

三、经济性与未来趋势

这一思路引出一个显而易见的结论：开源模型不需要变得更好，只需要变得更小和更专用。此前的文章曾指出，开源 LLM 需要在成本和规模方面提升大约两个量级，才能赶上 GPT。如果它们能够跨越这一障碍，就可以提高企业对模型进行有效专用化的水准，并为开源软件的发展提供一条可行的路径。

1. 成本结构的转变

随着 Transformer 架构的优化和量化技术的发展，推理成本正在大幅下降。企业不再需要为每一个任务调用昂贵的云端 API。通过蒸馏技术，可以将大模型的能力压缩到较小的模型中，使其能够在消费级显卡上运行。这种转变将极大地降低 AI 应用的门槛，促进长尾场景的创新。

2. 垂直领域的深耕

通用大模型虽然能力全面，但在特定领域的深度往往不足。开源社区可以针对法律、医疗、教育等垂直领域，利用高质量的私有数据进行微调，构建出比通用模型更具专业性的解决方案。这种'小而美'的模型组合，将构成未来 AI 生态的主流形态。

3. 技术栈的自主可控

在全球地缘政治和技术封锁的背景下，掌握核心算法和模型权重对于国家安全和产业竞争力至关重要。开源模型提供了技术透明度和可审计性，使得开发者能够深入理解模型内部机制，从而进行针对性的优化和改造，减少对单一商业闭源模型的依赖。

四、总结

我们对开源的价值有着坚定的信念，但结果很明显，开源模型无法与托管的通用模型的质量相抗衡。不过，这并不意味着失败，而是新的机会。做微调模型的用户并不需要最通用的模型，而是需要一个能够为他们的任务进行良好训练的模型。如果开源模型能够在轻量级的同时保持高质量，这就是未来市场的机会所在，将会有一个崭新的专有化领域静候开启。

开源不仅仅是代码的开放，更是信任的传递。它赋予了社区审查、改进和创新的权利。随着技术的进步和成本的降低，开源 LLM 将在构建更加公平、透明、高效的智能世界中扮演不可替代的角色。开发者应积极拥抱开源生态，参与模型共建，共同推动人工智能技术的普惠发展。