SpringAI 集成 Ollama 与 Deepseek 构建本地对话机器人 (二)

配置文件 (application.yml)：

spring:
  ai:
    ollama:
      chat:
        options:
          model: deepseek-r1:7b
          base-url: http://localhost:11434

运行应用后，即可通过 API 获取模型回复。

构建数据库

增强检索 RAG

Embedding 技术将文本转化为数值向量，便于计算语义相似度。我们使用 Ollama 拉取轻量级 Embedding 模型（如 all-minilm）。

ollama pull all-minilm

向量数据库

这里选用 PostgreSQL 配合 pgvector 扩展。它允许在关系型数据库中执行向量相似性搜索，结合结构化查询与非结构化数据的语义理解。

启动 pgvector 容器（注意网络环境）：

docker run -d --name pgvector -p 5433:5432 \
  -e POSTGRES_USER=postgres \
  -e POSTGRES_PASSWORD=postgres \
  pgvector/pgvector:pg16

Springboot 集成 pgvector

引入依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pgvector-store-spring-boot-starter</artifactId>
</dependency>

配置数据源与向量存储：

spring:
  ai:
    vectorstore:
      pgvector:
        index-type: HNSW
        distance-type: COSINE_DISTANCE
        dimensions: 384
        batching-strategy: TOKEN_COUNT
        max-document-batch-size: 1000
    ollama:
      chat:
        options:
          model: deepseek-r1:7b
      embedding:
        enabled: true
        model: all-minilm
        base-url: http://localhost:11434
  datasource:
    url: jdbc:postgresql://localhost:5433/springai
    username: postgres
    password: postgres

初始化数据库表：

create extension if not exists vector;
create extension if not exists hstore;
create extension if not exists "uuid-ossp";

create TABLE if not exists vector_store(
    id uuid DEFAULT uuid_generate_v4() PRIMARY KEY,
    content text,
    metadata json,
    embedding vector(384)
);

create index on vector_store using HNSW(embedding vector_cosine_ops);

写入数据示例：

在 resources 目录下放置文本文件（如 ncode.txt），编写 Controller 读取并入库：

package com.yan.springai.vector;

import lombok.RequiredArgsConstructor;
import org.springframework.ai.document.Document;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.Arrays;

@RestController
@RequiredArgsConstructor
public class VectorAPI {
    final VectorStore store;

    @GetMapping("/vec/write")
    public String write() throws IOException {
        StringBuffer text = new StringBuffer();
        ClassLoader classLoader = getClass().getClassLoader();
        InputStream inputStream = classLoader.getResourceAsStream("ncode.txt");

        try (BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream))) {
            String line;
            while ((line = reader.readLine()) != null) {
                text.append(line);
            }
        }

        // 按句号分片写入
        store.write(Arrays.stream(text.toString().split("。"))
                .map(Document::new).toList());
        return "success";
    }
}

启用 RAG 能力：

默认情况下模型无法访问知识库，需通过 QuestionAnswerAdvisor 注入向量存储：

@Bean
public ChatClient chatClient(ChatMemory chatMemory) {
    return ChatClient.builder(model2)
            .defaultSystem("假如你是特朗普...")
            .defaultAdvisors(
                    new MessageChatMemoryAdvisor(chatMemory),
                    new QuestionAnswerAdvisor(vectorStore)
            )
            .build();
}

此时提问将基于向量库中的内容进行回答。

PDF 文档处理

引入 PDF 解析依赖：

<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-pdf-document-reader</artifactId>
</dependency>

代码实现：

package com.yan.springai.Pdf;

import lombok.RequiredArgsConstructor;
import org.springframework.ai.reader.ExtractedTextFormatter;
import org.springframework.ai.reader.pdf.PagePdfDocumentReader;
import org.springframework.ai.reader.pdf.config.PdfDocumentReaderConfig;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequiredArgsConstructor
public class Pdf {
    final VectorStore store;

    @GetMapping("/pdf/read")
    public String getDocsFromPdf() {
        PagePdfDocumentReader pdfReader = new PagePdfDocumentReader(
                "classpath:/baogao.pdf",
                PdfDocumentReaderConfig.builder()
                        .withPageTopMargin(0)
                        .withPageExtractedTextFormatter(
                                ExtractedTextFormatter.builder()
                                        .withNumberOfTopTextLinesToDelete(0)
                                        .build()
                        )
                        .withPagesPerDocument(1)
                        .build()
        );
        store.write(pdfReader.read());
        return "success";
    }
}

Function Call 自定义函数

部分模型（如 Deepseek）对 Function Call 的支持有限，建议根据实际模型特性调整。

定义服务接口：

package com.yan.springai.func;

import java.util.function.Function;

public class OaService implements Function<OaService.Rquest, OaService.Response> {
    public Response apply(Rquest rquest) {
        System.err.printf("%s is token off%n", rquest.who);
        return new Response(10);
    }

    public record Rquest(String who) {}
    public record Response(int days) {}
}

注册到 Spring 容器：

package com.yan.springai.func;

import org.springframework.ai.model.function.FunctionCallback;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class FunctionRegistry {
    @Bean
    public FunctionCallback askForLeaveCallBack() {
        return FunctionCallback.builder()
                .function("askForLeave", new OaService())
                .description("当有人请假时，返回请假天数")
                .build();
    }
}

调用示例：

@GetMapping("/ai/func")
public String funcCall(@RequestParam(value = "message") String message) {
    return chatClient.prompt(message)
            .functions("askForLeave")
            .call().content();
}

多模态能力

多模态大语言模型可处理文本、图片等多种数据形式。Deepseek 原生不支持图像输入，需切换至支持多模态的模型（如 llava）。

拉取模型：

ollama run llava

代码实现：

package com.yan.springai.model;

import lombok.RequiredArgsConstructor;
import org.springframework.ai.chat.messages.Message;
import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.prompt.ChatOptions;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.model.Media;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.ollama.api.OllamaModel;
import org.springframework.core.io.ClassPathResource;
import org.springframework.util.MimeTypeUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.List;

@RestController
@RequiredArgsConstructor
public class ImageAPI {
    final OllamaChatModel model;

    @GetMapping("/ai/chatWithPic")
    public String chatWithPic() {
        ClassPathResource imageData = new ClassPathResource("/cat.png");
        Message userMessage = new UserMessage(
                "请用中文描述一下这张图片是什么东西？",
                List.of(new Media(MimeTypeUtils.IMAGE_PNG, imageData))
        );
        return model.call(new Prompt(
                List.of(userMessage),
                ChatOptions.builder()
                        .model(OllamaModel.LLAVA.getName())
                        .build()
        )).getResult().getOutput().getText();
    }
}

至此，本地对话机器人的基础功能与进阶能力均已实现。