Spring AI 集成 Ollama 与 LLaVA 实现多模态大模型应用实战

在 Maven 项目中，需要引入 Spring AI Ollama Starter 以及 Web 模块依赖。

<dependencies>
    <!-- Spring Boot Web -->
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <!-- Spring AI Ollama Starter -->
    <dependency>
        <groupId>org.springframework.ai</groupId>
        <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        <version>0.8.0-SNAPSHOT</version>
    </dependency>
</dependencies>

2. 配置文件

在 application.yml 中配置 Ollama 的连接地址及模型名称。

spring:
  ai:
    ollama:
      base-url: http://localhost:11434 # Ollama 服务地址
      chat:
        model: llava:7b                  # 指定使用的多模态模型

如果使用的是其他模型，请修改 model 字段对应的名称。

代码实战：多模态控制器

接下来，我们将编写一个 RESTful 接口，接收图片资源并让大模型描述图片内容。

控制器实现

package com.example.demo.controller;

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.messages.Media;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.core.io.Resource;
import org.springframework.util.MimeTypeUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
public class MultiModalityController {

    // 加载类路径下的示例图片资源
    @Value("classpath:img.png")
    private Resource imageResource;

    private final OllamaChatModel ollamaChatModel;

    public MultiModalityController(OllamaChatModel ollamaChatModel) {
        this.ollamaChatModel = ollamaChatModel;
    }

    /**
     * 多模态接口
     * @param text 用户输入的文本提示词
     * @return 大模型生成的回答内容
     */
    @GetMapping("/multi")
    public String multiModality(@RequestParam(defaultValue = "Explain what do you see on this picture?") String text) {
        try {
            // 构建 ChatClient
            ChatClient chatClient = ChatClient.builder(ollamaChatModel).build();
            
            // 创建用户消息，包含文本和图片 Media
            var userMessage = new UserMessage(
                text, 
                List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageResource))
            );
            
            // 发送 Prompt 并获取内容
            return chatClient.prompt(new Prompt(List.of(userMessage)))
                    .call()
                    .content();
        } catch (Exception e) {
            return "Error processing request: " + e.getMessage();
        }
    }
}

代码详解

1. Resource 注入: 使用 @Value("classpath:img.png") 将静态资源文件加载为 Spring 的 Resource 对象，便于传递给 Media 类。
2. Media 构造: new Media(MimeTypeUtils.IMAGE_PNG, imageResource) 明确指定了媒体类型为 PNG 图片，并关联了资源。
3. Prompt 构建: 将包含文本和图片的 UserMessage 放入 Prompt 列表中，这是 Spring AI 的标准交互方式。
4. 异常处理: 增加了基础的 try-catch 块，防止因网络或服务不可用导致接口直接抛出 500 错误，提升用户体验。

验证效果与测试

启动 Spring Boot 应用后，可以通过 Postman 或浏览器访问 /multi 接口。

• 请求 URL: http://localhost:8080/multi?text=Describe this image
• 预期结果: 返回对图片内容的自然语言描述。

由于使用的是本地机器运行的大模型，受限于硬件配置（特别是 GPU 显存），首次加载模型时响应速度可能较慢。建议等待 Ollama 后台完成模型加载后再发起请求。

常见问题与优化建议

1. 响应超时问题

本地大模型推理耗时较长，建议在 Controller 中设置合理的超时时间，或者考虑异步处理模式。可以在 application.yml 中调整 Tomcat 连接超时配置。

2. 内存不足

LLaVA:7b 模型虽然相对轻量，但在 CPU 模式下运行仍会占用较多内存。如果服务器内存紧张，可尝试量化版本（如 Q4_K_M）的模型，以平衡性能与资源消耗。

3. 多模态扩展

除了图片，Spring AI 也支持音频和视频的上传。只需更改 MediaType 参数（如 AUDIO_WAV, VIDEO_MP4）并传入相应的资源文件即可，无需修改核心逻辑。

总结

本文详细介绍了如何使用 Spring AI 框架集成 Ollama 本地部署的 LLaVA:7b 模型，实现了多模态大模型应用的快速开发。通过 Spring AI 提供的统一抽象层，开发者可以屏蔽底层模型的差异，专注于业务逻辑的实现。

利用本地部署方案，企业可以在保障数据隐私的前提下，低成本地探索大模型能力。未来，随着硬件算力的提升和模型优化技术的进步，本地多模态应用将在更多场景中得到落地。后续文章将讲解如何在本地部署更复杂的大模型知识库，进一步拓展 AI 在企业级应用中的深度。

注：本文代码基于 Spring AI 最新稳定版编写，具体版本号请以官方文档为准。