Spring AI 快速入门：集成 Ollama 与 OpenAI 实战

3.2 添加版本管理

为了统一管理 Spring AI 相关依赖的版本，建议使用 BOM（Bill of Materials）：

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-bom</artifactId>
            <version>0.8.1-SNAPSHOT</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
</dependencyManagement>

3.3 引入核心依赖

在 dependencies 标签下添加 Spring Boot Web Starter 和 Spring AI Ollama Starter：

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
        <version>3.2.1</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>2.0.12</version>
    </dependency>
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <version>1.18.30</version>
    </dependency>
    <!-- Spring AI Ollama Starter -->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
    </dependency>
</dependencies>

4. Ollama 本地模型部署

Ollama 是一个旨在简化大型语言模型 (LLMs) 本地运行的工具和框架。它通过将模型权重、配置和数据打包成一个单一的包，使得用户能够在本地设备上轻松运行开源的大型语言模型。

4.1 安装 Ollama

访问 Ollama 官网下载对应操作系统的版本。对于 Windows 用户，直接下载安装程序即可。

4.2 拉取模型

安装完成后，打开终端输入以下命令下载支持中文的模型：

ollama run llama2-chinese

首次下载需要耐心等待，具体耗时取决于网络状况。下载完成后，模型将保存在本地。

5. Spring Boot 后端集成

5.1 配置文件

在 application.yml 或 application.properties 中进行如下配置：

server:
  port: 8081
spring:
  ai:
    ollama:
      chat:
        options:
          model: llama2-chinese

5.2 编写控制器

创建一个简单的 REST 控制器来处理聊天请求：

@RestController
public class AIController {
    @Resource
    private OllamaChatClient ollamaChatClient;

    @GetMapping("/chat")
    public String chat(@RequestParam(name = "message") String message) {
        return ollamaChatClient.call(message);
    }
}

5.3 流式响应支持（进阶）

在实际应用中，为了提升用户体验，通常推荐使用流式响应。Spring AI 支持返回 Stream<String> 或 ResponseEntity<Stream<String>>。

@GetMapping(value = "/chat-stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> chatStream(@RequestParam(name = "message") String message) {
    return ollamaChatClient.stream(message);
}

6. 前端交互实现

为了演示完整的交互流程，我们使用 Vue3 构建一个简单的聊天界面。

6.1 项目结构

使用 Vite 创建 Vue3 项目，并安装 axios 用于发送 HTTP 请求。

6.2 核心代码实现

Template 部分：

<template>
  <div class="chat-container">
    <div class="message-container" v-for="(message, index) in chatHistory" :key="index">
      <div v-if="message.sender === 'user'" class="user-message">{{ message.content }}</div>
      <div v-else class="gpt-message">{{ message.content }}</div>
    </div>
    <div class="input-container">
      <input type="text" v-model="newMessage" @keyup.enter="sendMessage" placeholder="请输入消息...">
      <button @click="sendMessage">发送</button>
    </div>
  </div>
  <div v-if="wait" class="wait">
    <div class="loader"></div>
    <div>等待中</div>
  </div>
</template>

Script 部分：

<script setup>
import { ref } from 'vue';
import axios from 'axios';

const chatHistory = ref([]);
const newMessage = ref('');
const wait = ref(false);

const sendMessage = async () => {
  const messageContent = newMessage.value.trim();
  if (messageContent !== '') {
    chatHistory.value.push({ sender: 'user', content: messageContent });
    wait.value = true;
    
    try {
      const response = await axios.get('http://localhost:8081/chat', {
        params: { message: messageContent }
      });
      chatHistory.value.push({ sender: 'gpt', content: response.data });
    } catch (error) {
      console.error('Request failed:', error);
      chatHistory.value.push({ sender: 'system', content: '请求失败，请稍后重试' });
    } finally {
      wait.value = false;
      newMessage.value = '';
    }
  }
};
</script>

Style 部分：

<style scoped>
.chat-container {
  max-width: 500px;
  margin: auto;
  position: relative;
}
.message-container {
  margin-bottom: 10px;
}
.user-message {
  background-color: #aaf;
  padding: 5px;
  border-radius: 5px;
  max-width: 70%;
  word-wrap: break-word;
}
.gpt-message {
  background-color: #afa;
  padding: 5px;
  border-radius: 5px;
  max-width: 70%;
  word-wrap: break-word;
}
.input-container {
  display: flex;
  justify-content: space-between;
  margin-top: 20px;
}
.input-container input {
  flex: 1;
  padding: 8px;
  border: 1px solid #ccc;
  border-radius: 5px;
}
.input-container button {
  padding: 8px 20px;
  background-color: #4caf50;
  color: white;
  border: none;
  border-radius: 5px;
  cursor: pointer;
}
.wait {
  position: absolute;
  top: 50%;
  left: 50%;
  transform: translate(-50%, -50%);
  display: flex;
  flex-direction: column;
  align-items: center;
}
.loader {
  border: 8px solid #f3f3f3;
  border-top: 8px solid #3498db;
  border-radius: 50%;
  width: 40px;
  height: 40px;
  animation: spin 1s linear infinite;
}
@keyframes spin {
  0% { transform: rotate(0deg); }
  100% { transform: rotate(360deg); }
}
</style>

7. 调用远程 API (OpenAI)

如果本地模型运算速度较慢，可以切换到远程 API。这里以 OpenAI GPT-3.5-turbo 为例。

7.1 获取 API Key

需要在 OpenAI 官网申请 API Key。

7.2 配置依赖与参数

添加 OpenAI Starter 依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
</dependency>

配置 application.yml：

spring:
  ai:
    openai:
      api-key: ${OPENAI_API_KEY}
      chat:
        options:
          model: gpt-3.5-turbo
          temperature: 0.7

注意：生产环境中，建议通过环境变量 ${OPENAI_API_KEY} 注入密钥，避免硬编码在配置文件中。

7.3 控制器实现

@GetMapping("/chat")
public String openAiChat(@RequestParam(name = "message") String message) {
    // 假设注入了 OpenAiChatClient
    return openAiChatClient.call(message);
}

8. 安全与生产环境建议

上述 Demo 仅用于验证功能，上线前需考虑以下优化：

1. 限流与熔断：防止恶意请求耗尽 Token 配额，可使用 Sentinel 或 Resilience4j。
2. 认证鉴权：增加 JWT 或 OAuth2 认证，确保只有授权用户可调用 AI 接口。
3. 敏感词过滤：对用户输入和模型输出进行合规性检查。
4. 日志审计：记录关键对话日志以便追踪问题。
5. 错误处理：完善全局异常处理器，避免将底层技术细节暴露给前端。
6. Prompt 工程：在调用模型前对 Prompt 进行标准化处理，提高回答质量。
7. 成本监控：针对云端 API，设置每日预算上限，防止费用失控。

9. 常见问题排查

• 连接拒绝：检查 Ollama 服务是否启动 (ollama serve) 且端口默认 11434 未被占用。
• 模型未找到：确认 model 名称与 ollama list 输出一致。
• 跨域问题：前端访问本地后端时，若遇到 CORS 错误，需在 Spring Boot 中添加 @CrossOrigin 注解或配置全局 CORS 策略。
• Token 限制：注意上下文长度限制，过长的对话可能导致截断，需实现滑动窗口机制。

10. 总结

本文详细介绍了如何使用 Spring AI 框架集成本地 Ollama 模型及云端 OpenAI API。通过统一的抽象接口，开发者可以灵活切换不同的 AI 服务提供商。结合 Vue3 前端，可以快速构建具备智能对话能力的应用原型。随着 Spring AI 生态的成熟，未来将支持更多模型和功能，值得持续关注。