01 大模型知识库为什么是企业大模型落地的优选场景?
大模型技术落地通常分为四层:应用层、中间层、模型层、基础层。

过去大家把知识库当成核心落地的一个场景,尤其今年在分析和企业用户交流的过程中,企业用户基于上层的场景,抽象出一些中间的能力,放在中间层。过去的中间层主要是一些大模型的运维工具,现在有越来越多的企业用户会考虑把中间层作为一个能力中台,去调用各种各样的能力。
在这些能力当中,核心看到三个能力落地比较多:
- 知识库及知识库的 RAG 检索:是企业用户在落地的过程中,优先考虑以及选择比较多的能力场景。
- 大模型加数据分析:不管是对话式数据分析,还是直接取数,这是第二个中间的能力场景。
- Agent 的一个流程画布:是因为大模型涉及到有 Agent 能力做目标的理解、任务的拆解和自动执行,所以这是第三个核心能力场景。
基于这三个核心的能力场景,延伸出企业用户在落地应用时,会优选的一些核心落地方向。
知识库和检索毫无疑问是第一位的,因为在实际落地的过程中,大家最开始接触的 LangChain 或者 FastGPT,这些其实都是基于知识库落地的。今年落地时大家很关心的 RAG(Retrieval-Augmented Generation),其实也是知识库上层检索落地的一些应用场景。
第一个核心点从大模型的能力角度来讲,它会逐渐越来越偏中间层。知识库问答是知识及检索之上的一个应用场景,知识库和检索作为中间的能力层,可以应用的点会很多。这也是为什么我们建议企业用户优选知识库问答落地的原因。
第二个核心点是知识库及检索带来的上层应用比原来多了很多。过去大家理解知识库主要核心就两个场景,一方面是有一个知识库的门户,是公司内部在使用;另一方面是知识库上层做客服。除了这两个场景以外,其他的场景跟知识库之间的关系会小很多。
但是现在知识库及检索如果变成一个能力的话,对内部用户和可应用的场景范围变大了。因为不光是客服可以有助手或者客服底层有知识库,其实 IT、营销、HR 也可以有。包括现在央国企落得比较多的办公类场景,其实很多时候都在落各种各样的一些 SSC(共享服务中心)的场景,这背后其实都是知识库问答,或者说知识库其实是核心落地的基础。
第三个核心点从知识库本身的建设的过程当中,我们总结下来就是三个核心的要素:成本可控、算力、验证速度。
首先是知识库场景的成本可控,不管是去年下半年也好,还是今年上半年也好,知识库实际落地的时候,它的成本相比较其他大模型的落地场景预算,相对来说比较便宜。也可以去做公有云的一些调用,这样如果用 API,价格会比较便宜。整体知识库的场景建设,成本基本上是能控制在百万级别。
其次即使私有化部署,用的模型参数量要求也不会特别多,大部分我们看到的基本上都是十几 B,30B+ 的看到的比较少,绝大部分 100 亿左右参数就能解决。推理的算力相对来说要求会比较低,如果你有一块英伟达的卡,基本上 10 - 20 个并发的知识库问答,基本上一张卡推理就能解决。有时候也能看到很多提供的解决方案里,也是带了一体机,基本上就是百万级别的一体机能解决实际的场景落地,这是推理算力要求比较低的优势点。同时整个知识库场景上层的建设成本也会低很多,因为它主要的应用是把它包装成 API 嵌到应用里边,另外一就是直接做知识库的问答展现在前台,所以它的场景搭建成本会稍微低一些。
最后落地的速度比较快,验证起来也比较快,绝大部分知识库的问答场景可能是在一个季度之内就能解决。对比私有化部署需要花半年甚至一年左右的时间去验证的话,这个验证的速度是比较快。
02 到底大模型加知识库和传统的知识库有哪些区别?
按知识库发展的历程,最早的时候知识库就是档案室。很多央国企、党建、人力、招投标的档案都会有档案室的存在。这就是传统的知识库,比较简单,然后逐渐进阶到把传统知识库搬到线上,变成数字知识库,大家接触比较多的基本上还是上一代传统 AI 的知识库。

传统 AI 的知识库的话,覆盖的模态基本已经比较多了,文本、图片、语音、视频这些模态都会有。它的核心应用基本上是以搜索、客服和推荐这三个为核心去展开的。相对来说知识库的应用范围比较窄。
另外传统知识库 1.0 阶段有三个核心的问题,一直比较难解决。
- 构建成本高:传统的 AI 知识库相对来说冷启动周期会比较久。要做大量的数据标注,包括知识的提取、流程画布的设计,冷启动中需要话术师,然后包括一部分人工的数据标注,这个时间周期会比较久。



