开源大模型重塑企业 AI 应用：16 个落地案例解析

开源大模型重塑企业 AI 应用

随着性能优异的大模型横空出世，开源大型语言模型（LLM）在企业界的应用逐渐引起广泛关注。然而，这也带来了新的问题：企业应如何有效地部署和应用这些模型以发挥最大价值？

VentureBeat 和其他专家认为，开源 LLM 可能会对企业中的生成式人工智能产生更强大的影响，甚至可能超过 OpenAI 的 ChatGPT 或 Anthropic 等封闭模型。尽管有许多实验或概念验证，但相对较少的成熟公司公开宣布已在实际商业应用中部署开源模型。

开源大模型面临的挑战

反馈循环存在延迟

开源大模型的发展和部署面临一些延迟，部分原因是起步较慢。例如，Meta 的 Llama 在 2023 年 2 月发布，而 OpenAI 的 ChatGPT 则在 2022 年 11 月就已公开。虽然开源模型的实际应用案例现在还相对较少，但它们正紧咬封闭模型，追赶上来只是时间问题。

开源模型当前还存在局限性。Replit 的 CEO Amjad Masad 指出，反馈循环无法正常工作，因为人们不能轻松地为模型开发做出贡献。不过，开源领域的实验和创新活动正在加速，开发者们正在创建越来越多基于开源模型的衍生产品，它们在某些指标上逐步实现与封闭模型的性能平起平坐甚至超越。

大型公共模型本身对企业几乎没有价值

Dell 的 AI 战略高级副总裁 Matt Baker 直言不讳地指出了封闭模型的局限性。Baker 表示：「大型公共模型本身对私营公司几乎没有什么价值。」他指出，这些模型目标是非常通用的模型，这会使它们变得臃肿，且不允许企业用户轻松访问自己的数据。

Baker 估计，企业所做的人工智能工作中，约有 95% 是通过检索增强生成（RAG）等技术为模型注入数据所需的工作流程。即便如此，RAG 也并不总是可靠的。许多企业正在构建和试验基于开源的客户支持和代码生成应用程序，以与它们自己的定制代码互动，有时这些代码对于由 OpenAI 或 Anthropic 等公司构建的通用封闭 LLM 来说是难以理解的。

部署起跑缓慢的其他原因

Hugging Face 可以说是开源 LLM 最大的聚集地。不过，Hugging Face 负责为使用开源 LLM 的公司提供建议的 Andrew Jardine 说，企业需要首先考虑数据隐私、客户体验和伦理等方面的影响，才能推进对 LLM 应用程序的使用。企业倾向于首先在内部用例上测试 LLM，通过概念验证后，才会考虑外部用例的部署。

也有人支持企业应该远离开源，因为从 OpenAI 调用 API 等服务更简单，不需要处理开源许可和治理的挑战。此外，GPT 模型虽然在多语言处理上表现良好，但开源 LLM 的效果参差不齐。

Jardine 提到，这样的对立二分法是个错误的观念，因为现在大部分企业都会将二者一起使用。他提到了最近与他交谈的一家大型制药公司，该公司对内部聊天机器人使用封闭模型，但使用 Llama 进行相同的用例，比如标记含有个人可识别信息的消息。它之所以这样做，是因为开源给公司提供了更多控制数据的权力。

开源将迎头赶上

技术的发展十分迅速，商业的需求改变也变幻莫测，这使企业想要根据需求在不同的开源和封闭模型之间切换。他们已经意识到了，只依赖一种模型会带来风险。如果模型提供商突然更新模型，或者没有及时更新模型跟上时代的步伐，公司的客户都可能会受到负面影响。

当公司担心控制数据访问权限，同时又希望对模型进行微调以达到专门目的时，通常会选择开源途径。「你可以使用自己的数据对模型进行微调，使其更适合你。」

Intuit 和 Perplexity 希望希望在单一应用中使用多个模型，以便挑选对特定子任务有利的大模型。这些公司已经建立了生成式 AI「协调层」，通过调用完成任务的最佳模型，自主完成这项工作，开源模型或是封闭模型都可以。

部署开源模型的其他挑战

真正部署企业的源代码示例也很棘手，因为 LLM 的应用程序处于一种找不到甲方的状态。他们寻找的对象是 LLM 技术的「最终用户」，而不是供应商。

另一个挑战是如何定义开源。Meta 于 2023 年 7 月发布了 Llama 2，该版本不仅可用于研究，也允许用于商业，但仍有一些限制。Llama 只公开了其模型权重，没有发布如数据源、训练代码或微调方法等具体细节。因此，有一些纯粹的开源主义者认为，Llama 不应该被认为是真正的开源。

Writer 开发了自己的 LLM 家族，称为 Palmyra，用于支持人们快速、创造性地生成内容的应用程序。虽然 Writer 已经开源了其中的两个模型，但其主要的 Large Palmyra 模型仍然是封闭的，并且是这些企业客户默认使用的。

企业落地案例展示

最近几个月，从初创公司涌现出大量针对企业的新开源 LLM，包括 Deci 和 Together 的 Redpajama 推出的产品。即使是微软、亚马逊的 AWS 和谷歌也加入了供应游戏，像麦肯锡这样的咨询公司也利用部分开源 LLM 为客户构建应用程序。

VentureBeat 尽可能收集了他们所能找到的示例，并进行了整理：

VMWare：部署了 HuggingFace 的 StarCoder 模型，该模型可帮助开发人员生成代码，从而提高开发效率。VMWare 选择自行托管该模型，而不是使用像微软拥有的 Github 的 Copilot 这样的外部系统。这可能是因为 VMWare 对其代码库非常敏感，不希望让微软访问它。
Brave：这家聚焦安全的网络浏览器初创公司在隐私方面寻求差异化，他们部署了一个名为 Leo 的对话助手。Leo 之前使用的是 Llama 2，但 Brave 近期宣布 Leo 现在默认使用 Mistral AI 的开源模型 Mixtral 8x7B。
Gab Wireless：这家儿童友好型手机公司强调安全和保障，它使用 Hugging Face 公司提供的一套开源模型，为筛选儿童收发的信息添加了一个安全层。这样可以确保在与不认识的人进行互动时，不会出现不恰当的内容。
富国银行 (Wells Fargo)：首席信息官 Chintan Mehta 提到，富国银行已经部署了开源 LLM 驱动，包括 Meta 的 Llama 2 模型，用于一些内部用途。
IBM：IBM 使用了自己的 Granite，但也利用了来自 Hugging Face 和 Meta 的开源 LLM。其 285,000 名员工依赖公司的 AskHR 应用程序，该应用程序回答员工关于各种 HR 事项的问题，它是建立在利用开源 LLM 的 IBM 的 Watson Orchestration 应用程序上的。IBM 宣布了新的内部咨询产品 Consulting Advantage，该产品利用了由 Llama 2 驱动的开源 LLM。
格莱美奖：IBM 还宣布了一项协议，为格莱美奖的所有者录音学院提供一项名为 AI stories 的服务。该服务利用在 IBM Wastonx.ai 工作室上运行的 Llama 2，帮助定制见解和内容。这项服务将围绕艺术家及其作品的相关数据集的数据矢量化，LLM 可以通过 RAG 数据库检索这些数据。

7-9. 美国大师赛、温布尔登网球赛和美国网球公开赛：IBM 帮助所有这些组织使用开源 LLM 生成相关体育赛事的语音解说，并查找视频集锦。IBM 的技术可以帮助这些体育赛事公司调出一些关键的东西，如平板面部手势和人群嘈杂声，从而在整个比赛过程中创造一个更加令人兴奋的过程。

Perplexity：这家炙手可热的初创公司正在通过使用 LLM 来重塑搜索体验。当用户向 Perplexity 提出一个问题时，它的引擎会使用大约六个步骤来做出回答，在此过程中还会使用多个 LLM。倒数第二步默认使用自己定制的开源 LLM。这一步是总结 Perplexity 认为符合用户问题的文章或资料来源的材料。Shevelenko 说，使用 Llama 至关重要，因为它有助于 Perplexity 掌握自己的命运。
CyberAgent：这家日本数字广告公司使用戴尔软件提供的开源 LLM，为 OpenCALM（Open CyberAgent Language Models）提供动力，OpenCALM 是一个通用的日语语言模型，可以根据用户需求进行微调。
Intuit：Intuit 是 TurboTax、Quickbooks 和 Mailchimp 等软件的提供商，很早就开始构建自己的 LLM 模型，并在驱动其 Intuit Assist 功能的 LLM 混合中利用开源模型，该功能帮助用户处理诸如客户支持、分析和任务完成工作。其内部 LLM 是基于开源构建并在 Intuit 自己的数据上进行训练的。
沃尔玛：零售巨头沃尔玛构建了数十个对话 AI 应用程序，包括用于客户服务的聊天机器人。沃尔玛全球技术公司的新兴技术副总裁 Desirée Gosby 表示，公司使用 GPT-4 和其他 LLM，以免泰国局限。沃尔玛的努力始于使用 Google 在 2018 年发布的 BERT 开源模型。
Shopify：Shopify Sidekick 是一个 AI 驱动的工具，利用 Llama 2 帮助小企业主自动完成管理其商务网站的各种任务，如生成产品描述、回应客户查询和创建营销内容。
LyRise：这家人才匹配初创公司 LyRise 使用一个建立在 Llama 上的聊天机器人，像人类招聘人员一样互动，帮助企业从非洲各行业的高质量简历库中找到并雇佣顶尖的 AI 和数据人才。
Niantic：Pokemon Go 的创造者推出了一个名为 Peridot 的新功能，它使用 Llama 2 生成宠物角色在游戏中的环境特定反应和动画。

总结与展望

开源大模型正在重塑企业 AI 应用的格局。尽管面临反馈循环延迟、数据隐私顾虑以及定义模糊等挑战，但越来越多的企业意识到仅依赖单一模型的风险。

未来的趋势显示，企业将更多地采用混合策略，结合开源模型的灵活性与封闭模型的能力。通过建立生成式 AI 协调层，企业可以动态选择最佳模型来处理特定子任务。同时，私有化部署和微调将成为主流，以确保数据主权和业务适配性。随着生态系统的成熟，开源 LLM 将在更多垂直领域实现深度落地，成为企业数字化转型的关键基础设施。

开源大模型重塑企业 AI 应用：16 个落地案例解析