SpringAI 通过 Ollama 本地部署 Deepseek 模型实现对话机器人 | 极客日志

JavaAIjava

SpringAI 通过 Ollama 本地部署 Deepseek 模型实现对话机器人

如何使用 SpringAI 结合 Ollama 本地部署 Deepseek 模型实现对话机器人。内容涵盖模型拉取、本地测试及 Java 代码调用流程。通过集成 pgvector 向量数据库实现 RAG 增强检索，支持文本与 PDF 文档导入。此外还演示了 Function Call 自定义函数调用及多模态图片识别能力的配置方法，为构建本地化 AI 应用提供技术参考。

暗影行者发布于 2026/4/5更新于 2026/4/131 浏览

SpringAI 通过 Ollama 本地部署 Deepseek 模型实现对话机器人

🎈Java 调用 Deepseek

本地没有安装 Ollama、Docker，openwebUI，可以参考相关部署教程。

🍕下载 Deepseek 模型

打开命令行窗口，拉取一下 Deepseek 模型：

ollama run deepseek-r1:7b

文章配图

🍕本地测试

我们打开 Docker Desktop 软件。然后运行一下 Open webUI。

文章配图

选择 Deepseek-r1 模型，然后进行测试。

文章配图

🍕Java 调用模型

先把以前的 moonshot 依赖注释掉，然后将 moonshot 相关的删除，不然会报错。

引入 ollama 依赖：

<!-- 引入 Ollama 依赖-->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>

修改一下模型配置类：

package com.yan.springai;
import lombok.RequiredArgsConstructor;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.MessageChatMemoryAdvisor;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.memory.InMemoryChatMemory;
 org.springframework.ai.ollama.OllamaChatModel;
 org.springframework.context.annotation.Bean;
 org.springframework.context.annotation.Configuration;



   {
    
     OllamaChatModel model2;

    
     ChatClient {
         ChatClient.builder(model2)
                .defaultSystem()
                .defaultAdvisors( (chatMemory))
                .build();
    }

    
     ChatMemory {
        
          ();
    }
}

极客日志微信公众号二维码

更多推荐文章

相关免费在线工具

Keycode 信息
查找任何按下的键的javascript键代码、代码、位置和修饰符。在线工具，Keycode 信息在线工具，online
Escape 与 Native 编解码
JavaScript 字符串转义/反转义；Java 风格 \uXXXX（Native2Ascii）编码与解码。在线工具，Escape 与 Native 编解码在线工具，online
JavaScript / HTML 格式化
使用 Prettier 在浏览器内格式化 JavaScript 或 HTML 片段。在线工具，JavaScript / HTML 格式化在线工具，online
JavaScript 压缩与混淆
Terser 压缩、变量名混淆，或 javascript-obfuscator 高强度混淆（体积会增大）。在线工具，JavaScript 压缩与混淆在线工具，online
RSA密钥对生成器
生成新的随机RSA私钥和公钥pem证书。在线工具，RSA密钥对生成器在线工具，online
Mermaid 预览与可视化编辑
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。在线工具，Mermaid 预览与可视化编辑在线工具，online

spring:
  ai:
    ollama:
      chat:
        options:
          model: deepseek-r1:7b
          base-url: http://localhost:11434

ollama pull all-minilm

docker run -d --name pgvector -p 5433:5432 -e POSTGRES_USER=postgres -e POSTGRES_PASSWORD=postgres pgvector/pgvector:pg16

<!-- 引入 pgvector-->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

spring:
  ai:
    vectorstore:
      pgvector:
        index-type: HNSW
        distance-type: COSINE_DISTANCE
        # 维度，根据选的 embedding 模型所定
        dimensions: 384
        batching-strategy: TOKEN_COUNT
        max-document-batch-size: 1000
    ollama:
      chat:
        options:
          model: deepseek-r1:7b
          embedding:
            enabled: true
            model: all-minilm
          base-url: http://localhost:11434
    datasource:
      url: jdbc:postgresql://localhost:5433/springai
      username: postgres
      password: postgres

create extension if not exists vector;
create extension if not exists hstore;
create extension if not exists "uuid-ossp";
create TABLE if not exists vector_store(
    id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
    content text,
    metadata json,
    embedding vector(384)
);
create index on vector_store using HNSW(embedding vector_cosine_ops);

package com.yan.springai.vector;
import lombok.RequiredArgsConstructor;
import org.springframework.ai.document.Document;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.Arrays;

@RestController
@RequiredArgsConstructor
public class VectorAPI {
    final VectorStore store;

    //导入方法
    @GetMapping("/vec/write")
    public String write() throws IOException {
        StringBuffer text = new StringBuffer();//用来存储文件
        ClassLoader classLoader=getClass().getClassLoader();//因为打包后，resource 的文件就放在 class：path 下，我们使用这个获取
        InputStream inputStream=classLoader.getResourceAsStream("ncode.txt");//获取文件
        //把文件一行一行读取出来，放在 text 中去
        try(BufferedReader reader=new BufferedReader(new InputStreamReader(inputStream))){
            String line;
            while ((line=reader.readLine())!=null){
                text.append(line);
            }
        }
        //按照句号，将文本 p 成一行一行的
        store.write(Arrays.stream(text.toString().split("。")).map(Document::new).toList());
        return "success";
    }
}

package com.yan.springai;
import lombok.RequiredArgsConstructor;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.client.advisor.MessageChatMemoryAdvisor;
import org.springframework.ai.chat.client.advisor.QuestionAnswerAdvisor;
import org.springframework.ai.chat.memory.ChatMemory;
import org.springframework.ai.chat.memory.InMemoryChatMemory;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
@RequiredArgsConstructor
public class Init {
    //要使用的模型
    final OllamaChatModel model2;
    final VectorStore vectorStore;

    @Bean
    public ChatClient chatClient(ChatMemory chatMemory){
        return ChatClient.builder(model2)
                .defaultSystem("假如你是特朗普，接下来的对话你必须以特朗普的语气来进行？")
                .defaultAdvisors(new MessageChatMemoryAdvisor(chatMemory), new QuestionAnswerAdvisor(vectorStore) )//这里主要负责拼接
                .build();
    }

    @Bean
    public ChatMemory chatMemory(){
        //负责存和读
        return new InMemoryChatMemory();
    }
}

<!-- 将 pdf 引入向量数据库-->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pdf-document-reader</artifactId>
</dependency>

package com.yan.springai.Pdf;
import lombok.RequiredArgsConstructor;
import org.springframework.ai.reader.ExtractedTextFormatter;
import org.springframework.ai.reader.pdf.PagePdfDocumentReader;
import org.springframework.ai.reader.pdf.config.PdfDocumentReaderConfig;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequiredArgsConstructor
public class Pdf {
    final VectorStore store;

    @GetMapping("/pdf/read")
    public String getDocsFromPdf() {
        PagePdfDocumentReader pdfReader=new PagePdfDocumentReader("classpath:/baogao.pdf", PdfDocumentReaderConfig.builder()
                .withPageTopMargin(0)
                .withPageExtractedTextFormatter(ExtractedTextFormatter.builder()
                        .withNumberOfTopTextLinesToDelete(0)
                        .build())
                .withPagesPerDocument(1)
                .build() );
        store.write(pdfReader.read());
        return "success";
    }
}

package com.yan.springai.func;
import java.util.function.Function;

public class OaService implements Function<OaService.Rquest, OaService.Response> {
    public Response apply(Rquest rquest) {
        //实现逻辑，这里是请假逻辑
        System.err.printf("%s is token off%n",rquest.who);
        return new Response(10);
    }

    public record Rquest(String who) { }
    public record Response(int days) { }
}

package com.yan.springai.func;
import org.springframework.ai.model.function.FunctionCallback;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

//将 function 注册到 spring 容器中
@Configuration
public class FunctionRegistry {
    @Bean
    public FunctionCallback askForLeaveCallBack(){
        return FunctionCallback.builder()
                .function("askForLeave",new OaService())//注册的名字和函数
                .description("当有人请假时，返回请假天数")//描述功能
                .build();
    }
}

package com.yan.springai.func;
//使用刚刚定义的函数
import lombok.RequiredArgsConstructor;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequiredArgsConstructor
public class FuncAPI {
    final ChatClient chatClient;

    @GetMapping("/ai/func")
    public String funcCall(@RequestParam(value = "message")String message){
        return chatClient.prompt(message)
                .functions("askForLeave")//调用名称
                .call().content();
    }
}

ollama run llava

package com.yan.springai.model;
import lombok.RequiredArgsConstructor;
import org.springframework.ai.chat.messages.Message;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.prompt.ChatOptions;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.model.Media;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.core.io.ClassPathResource;
import org.springframework.util.MimeTypeUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;

@RestController
@RequiredArgsConstructor
public class ImageAPI {
    final OllamaChatModel model;

    @GetMapping("/ai/chatWithPic")
    public String chatWithPic() {
        ClassPathResource imageData=new ClassPathResource("/cat.png");
        Message userMessage=new UserMessage("请用中文描述一下这张图片是什么东西？", List.of(new Media(MimeTypeUtils.IMAGE_PNG,imageData)));
        return model.call(new Prompt(
                List.of(userMessage),
                ChatOptions.builder()
                        .model(OllamaModel.LLAVA.getName()).build()))
                .getResult().getOutput().getText();
    }
}