大模型落地首选：企业为何优先构建知识库
目前企业用户在落地大模型时，TOP3 的场景主要集中在数据分析、知识库问答、客服营销这些方向。本文的核心内容分为三个部分：首先分析为什么知识库问答是值得企业用户落地的优选场景，特别是向管理层汇报时的价值点；其次介绍大模型加知识库与传统知识库的本质区别，这是企业内部立项时需要解决的关键问题；最后分享金融行业大模型加知识库的落地案例及实施建议。
01 大模型知识库为什么是企业大模型落地的优选场景？
大模型技术落地通常分为四层：应用层、中间层、模型层、基础层。
![架构图：大模型四层架构]
过去大家是把知识库当成核心落地的一个场景，尤其今年在分析和企业用户交流的过程中，企业用户基于上层的场景，抽象出一些中间的能力，放在中间层。过去的中间层主要是一些大模型的运维工具，现在有越来越多的企业用户会考虑把中间层作为一个能力中台，去调用各种各样的能力。
在这些能力当中，核心看到三个能力落地比较多：
- 知识库及知识库的 RAG 检索：是企业用户在落地的过程中优先考虑以及选择比较多的能力场景。
- 大模型加数据分析：不管是对话式数据分析，还是直接取数，这是第二个中间的能力场景。
- Agent 的一个流程画布：是因为大模型涉及到有 Agent 能力做目标的理解、任务的拆解和自动执行，所以这是第三个核心能力场景。
基于这三个核心的能力场景，延伸出企业用户在落地应用时，会优选的一些核心落地方向。知识库和检索毫无疑问是第一位的，因为在实际落地的过程中，大家最开始接触的 LangChain 或者 FastGPT，这些其实都是基于知识库落地的。今年落地时大家很关心的 RAG（Retrieval-Augmented Generation），其实也是知识库上层检索落地的一些应用场景。
核心优势分析
1. 从大模型的能力角度来讲
它会逐渐越来越偏中间层。知识库问答是知识及检索之上的一个应用场景，知识库和检索作为中间的能力层，可以应用的点会很多。这也是为什么我们建议企业用户优选知识库问答落地的原因。
2. 上层应用扩展性增强
知识库及检索带来的上层应用比原来多了很多。过去大家理解知识库主要核心就两个场景：一方面是有一个知识库的门户，是公司内部在使用；另一方面是知识库上层做客服。除了这两个场景以外，其他的场景跟知识库之间的关系会小很多。
但是现在知识库及检索如果变成一个能力的话，对内部用户和可应用的场景范围变大了。因为不光是客服可以有助手或者客服底层有知识库，其实 IT、营销、HR 也可以有。包括现在央国企落得比较多的办公类场景，其实很多时候都在落各种各样的一些 SSC（共享服务中心）的场景，这背后其实都是知识库问答，或者说知识库其实是核心落地的基础。
3. 建设三要素：成本可控、算力、验证速度
从知识库本身的建设的过程当中，我们总结下来就是三个核心的要素：
- 成本可控：不管是去年下半年也好，还是今年上半年也好，知识库实际落地的时候，它的成本相比较其他大模型的落地场景预算，相对来说比较便宜。也可以去做公有云的一些调用，这样如果用 API，价格会比较便宜。整体知识库的场景建设，成本基本上是能控制在百万级别。
- 算力要求低：即使私有化部署，用的模型参数量要求也不会特别多，大部分我们看到的基本上都是十几 B，30B+ 的看到的比较少，绝大部分 100 亿左右参数就能解决。推理的算力相对来说要求会比较低，如果你有一块英伟达的卡，基本上 10-20 个并发的知识库问答，基本上一张卡推理就能解决。有时候也能看到很多提供的解决方案里，也是带了一体机，基本上就是百万级别的一体机能解决实际的场景落地，这是推理算力要求比较低的优势点。同时整个知识库场景上层的建设成本也会低很多，因为它主要的应用是把它包装成 API 嵌到应用里边，另外一就是直接做知识库的问答展现在前台，所以它的场景搭建成本会稍微低一些。
- 验证速度快：落地的速度比较快，验证起来也比较快，绝大部分知识库的问答场景可能是在一个季度之内就能解决。对比私有化部署需要花半年甚至一年左右的时间去验证的话，这个验证的速度是比较快。
02 到底大模型加知识库和传统的知识库有哪些区别？
按知识库发展的历程，最早的时候知识库就是档案室。很多央国企、党建、人力、招投标的档案都会有档案室的存在。这就是传统的知识库，比较简单，然后逐渐进阶到把传统知识库搬到线上，变成数字知识库，大家接触比较多的基本上还是上一代传统 AI 的知识库。
![架构图：传统知识库演进路径]
传统 AI 知识库的局限性
传统 AI 的知识库的话，覆盖的模态基本已经比较多了，文本、图片、语音、视频这些模态都会有。它的核心应用基本上是以搜索、客服和推荐这三个为核心去展开的。相对来说知识库的应用范围比较窄。
另外传统知识库 1.0 阶段有三个核心的问题，一直比较难解决：
