SpringAI 概述
目前大模型应用开发最常见的框架是 LangChain,但它是基于 Python 语言。虽然有 LangChain4j,但对于大量使用 Spring 生态的应用来说,适配性稍差。
Spring 公司推出的 SpringAI 框架充分利用了 Spring 框架中 AOP、IOC 的能力,可以与现有的 Java 项目无缝融合,非常方便。
SpringAI 要求的 JDK 版本至少是 JDK17,SpringBoot 也必须是 3.x 的版本。如果是比较老的项目,也可以使用 LangChain4j,它要求的最低 JDK 版本为 JDK8。
大模型的使用
首先要明确一点,大模型应用开发并不是在浏览器中跟 AI 聊天,而是通过访问模型对外暴露的 API 接口,实现与大模型的交互。
企业首先需要有一个可访问的大模型,通常有三种选择:
- 使用开放的大模型 API;
- 在云平台部署稀有大模型;
- 在本地服务器部署稀有大模型。
本次演示使用的是开放的大模型 API,只需要选择自己合适的大模型,创建出自己的 API Key 就能免费使用很长时间了。
SpringAI 新手入门
配置 pom.xml 文件
首先,在 SpringBoot 项目中引入 SpringAI 起步依赖。接着,在项目 pom.xml 中添加 SpringAI 的版本信息。然后,添加 SpringAI 的依赖管理项。除了以上 SpringAI 的依赖之外,可根据后续项目开发需求引入其他依赖。
配置 application.yaml 文件
如果使用开放大模型的 API,需要在配置文件中添加相关内容。
配置 ChatClient
说明:ChatClient.builder 会得到一个 ChatClient.Builder 工厂对象,利用它可以自由选择模型、添加各种自定义配置。
同步调用
定义一个 Controller,在其中接收用户发送的提示词,然后把提示词发送给大模型,交给大模型处理,拿到结果后返回。
注意,基于 call() 方法的调用属于同步调用,需要所有响应结果全部返回后才能返回给前端。
启动项目,在浏览器中访问:http://localhost:8080/ai/chat?prompt=你好
流式调用
同步调用需要等待很长时间页面才能看到结果,用户体验不好。为了解决这个问题,我们可以改进调用方式为流式调用。
在 SpringAI 中使用了 WebFlux 技术实现流式调用。
重启测试,再次访问。
System 设定
当我们询问 AI 你是谁的时候,它回答自己是 DeepSeek-R1,这是大模型底层的设定。如果我们希望 AI 按照新的设定工作,就需要给它设置 System 背景信息。
在 SpringAI 中,设置 System 信息非常方便,不需要在每次发送时封装到 Message,而是创建 ChatClient 时指定即可。
日志功能
默认情况下,应用于 AI 的交互时不记录日志的,我们无法得知 SpringAI 组织的提示词到底长什么样,有没有问题。这样不方便我们调试。
SpringAI 基于 AOP 机制实现与大模型对话过程的增强、拦截、修改等功能。所有的增强通知都需要实现 Advisor 接口。
Spring 提供了一些 Advisor 的默认实现,来实现一些基本的增强功能:
- SimpleLoggerAdvisor:日志记录的 Advisor。
- MessageChatMemoryAdvisor:会话记忆的 Advisor。
- QuestionAnswerAdvisor:实现 RAG 的 Advisor。
只需要在配置 ChatClient 添加日志记录 Advisor。接下来,修改日志级别。重启项目,再次和 AI 聊天就可以在控制台上看到 AI 的日志输出了。
会话记忆功能
现在,我们的 AI 聊天机器人是没有记忆功能的,上一次聊天的内容,下一次就忘掉了。让 AI 有会话记忆的方式就是把每一次历史对话内容拼接到 Prompt 中,一起发送过去。SpringAI 自带了会话记忆功能,可以帮我们把历史会话保存下来,下一次请求 AI 时会自动拼接,非常方便。


