Spring AI 系列：AI 大模型原理与平台接入

其流程如图：

[图片：Prompt 模式流程图]

1.4.3. Function Calling（Tool Calling）

大模型虽然可以理解自然语言，更清晰弄懂用户意图，但是确无法直接操作数据库、执行严格的业务规则。这个时候我们就可以整合传统的应用，来增强大模型的能力。

简单来说，可以分为以下步骤：

1. 我们可以把传统应用中的部分功能封装成一个个函数（Function 或 Tool）。
2. 然后在提示词中描述用户的需求，并且描述清楚每个函数的作用，要求 AI 理解用户意图，判断什么时候需要调用哪个函数，并且将任务拆解为多个步骤（Agent）。
3. 当 AI 执行到某一步，需要调用某个函数时，会返回要调用的函数名称、函数需要的参数信息。
4. 传统应用接收到这些数据以后，就可以调用本地函数。再把函数执行结果封装为提示词，再次发送给 AI。
5. 以此类推，逐步执行，直到达成最终结果。

流程如图：

[图片：Function Calling 流程图]

注意：并不是所有大模型都支持 Function Calling。可参阅 Spring AI 官方文档。

[图片：Function Calling 支持情况对比]

1.4.4. RAG

RAG（Retrieval-Augmented Generation）叫做检索增强生成。简单来说就是把信息检索技术和大模型结合的方案。

大模型从知识角度存在很多限制：

• 时效性差：大模型训练比较耗时，其训练数据都是旧数据，无法实时更新
• 缺少专业领域知识：大模型训练数据都是采集的通用数据，缺少专业数据

流程如图：

[图片：RAG 架构图]

思考： 这里有个问题，为什么不可以把最新的数据或者专业文档都拼接到提示词中，一起发给大模型，这样就不用 RAG 了？

这是不可以的，现在的大模型都是基于 Transformer 神经网络，Transformer 的强项就是所谓的注意力机制。它可以根据上下文来分析文本含义，所以理解人类意图更加准确。

但是，这里上下文的大小是有限制的，GPT3 刚刚出来的时候，仅支持 2000 个 token 的上下文。现在领先一点的模型支持的上下文数量也不超过 200K token，所以海量知识库数据是无法直接写入提示词的。

Token 是什么？

[图片：Token 概念示意图]

需要注意的是，大模型的输入和输出都是分别计算 token 的，也就是双向收费。

RAG 就是利用信息检索技术来拓展大模型的知识库，解决大模型的知识限制。整体来说 RAG 分为两个模块：

• 检索模块（Retrieval）：负责存储和检索拓展的知识库
  • 文本拆分：将文本按照某种规则拆分为很多片段，最好每一个片段都是相关信息
  • 文本嵌入（Embedding)：使用向量模型将文本片段转为向量，方便根据向量计算文本相似度
  • 向量存储和搜索：将得到的向量存储到向量数据库中，将来根据用户提问来检索文本片段
• 生成模块（Generation）：
  • 组合提示词：将检索到的片段与用户提问组织成提示词，形成更丰富的上下文信息
  • 生成结果：调用生成式模型（例如 DeepSeek）根据提示词，生成更准确的回答

由于每次都是从向量库中找出与用户问题相关的数据，而不是整个知识库，所以上下文就不会超过大模型的限制，同时又保证了大模型回答问题是基于知识库中的内容。

1.4.5. Fine-tuning

Fine-tuning就是模型微调，就是在预训练大模型（比如 DeepSeek、Qwen）的基础上，通过企业自己的数据做进一步的训练，使大模型的回答更符合自己企业的业务需求。这个过程通常需要在模型的参数上进行细微的修改，以达到最佳的性能表现。

在进行微调时，通常会保留模型的大部分结构和参数，只对其中的一小部分进行调整。这样做的好处是可以利用预训练模型已经学习到的知识，同时减少了训练时间和计算资源的消耗。微调的过程包括以下几个关键步骤：

• 选择合适的预训练模型：根据任务的需求，选择一个已经在大量数据上进行过预训练的模型，如 Qwen-2.5。
• 准备特定领域的数据集：收集和准备与任务相关的数据集，这些数据将用于微调模型。
• 设置超参数：调整学习率、批次大小、训练轮次等超参数，以确保模型能够有效学习新任务的特征。
• 训练和优化：使用特定任务的数据对模型进行训练，通过前向传播、损失计算、反向传播和权重更新等步骤，不断优化模型的性能。

模型微调虽然更加灵活、强大，但是也存在一些问题：

• 需要大量的计算资源
• 调参复杂性高
• 过拟合风险（指模型在训练数据上表现过于完美，但在新数据上表现明显变差的风险）

总之，Fine-tuning成本较高，难度较大，并不适合大多数企业。而且前面三种技术方案已经能够解决常见问题了。

1.4.6. 技术选型

从开发成本由低到高来看，四种方案排序如下： Prompt < Function Calling < RAG < Fine-tuning

所以我们在选择技术时通常也应该遵循'在达成目标效果的前提下，尽量降低开发成本'这一首要原则。

[图片：技术选型流程图]

2. 对接 AI 大模型

AI 大模型一般分为两类，一种是公共大模型，另一种是私有大模型。我先学习公共大模型。

2.1. 公共大模型

常用的公共大模型平台有：

需要说明的是，这些平台一般都不是免费的，会按照 token 进行收费，并且是双向收费（请求和回答），这些平台一般对于新用户都会赠送免费 token 额度，例如：阿里云百炼平台会赠送 100w 的 token 额度。

2.2. 阿里云百炼

以阿里云百炼平台为例介绍如何使用这些公共平台。

2.2.1. 注册账号

如果没有阿里云账号，您需要先注册阿里云账号。

2.2.2. 开通百炼服务

使用阿里云主账号前往百炼控制台，开通百炼的模型服务，新用户开通即享每个模型 100 万免费 tokens。

说明：如果开通服务时提示'您尚未进行实名认证'，请先进行实名认证。 如果开通成功，可以看到百炼的模型广场页面：

[图片：百炼模型广场]

可以看到，有非常多的模型可供选择，点击模型的【查看详情】链接可以查看模型名称、价格、免费额度等信息。

[图片：模型详情]

2.2.3. 申请 API KEY

对接大模型，需要申请 API KEY，步骤如下：

[图片：API KEY 申请界面]

这个 key 一定不能泄露出去。

2.2.4. 体验文本调试

[图片：文本调试界面]

参数说明：

• temperature
  • 采样温度，控制模型生成文本的多样性。
  • temperature 越高，生成的文本更多样，反之，生成的文本更确定。
  • 取值范围：[0, 2)
• top_p
  • 核采样的概率阈值，控制模型生成文本的多样性。
  • top_p 越高，生成的文本更多样。反之，生成的文本更确定。
  • 取值范围：(0,1.0]
• 由于 temperature 与 top_p 均可以控制生成文本的多样性，因此建议只设置其中一个值。推荐设置 temperature，因为这是大部分模型的通用参数。
• 更多内容，可以参见阿里云文档。