Spring AI 基于 Ollama Qwen7B 和 PGVector 构建 RAG 问答系统

• TokenTextSplitter：将文档按照 Token 完整性进行拆分
• ContentFormatTransformer：
• KeywordMetadataEnricher：关键词提取
• SummaryMetadataEnricher：文档摘要

文档的拆分粒度对于相似度搜索至关重要，拆分粒度不合理将会导致相似度搜索问题，比如拆分粒度太大，可能会搜到不相关内容，或者搜索到的上下文过多，导致超出大模型窗口大小，相反粒度太小会丢失上下文信息，使得大模型回到质量受到影响。

分析一下 TokenTextSplitter 源码

TokenTextSplitter 该类是对读取文档进行拆分，其拆分对于相似度检索影响非常大。比如拆分块的大小；

public class TokenTextSplitter extends TextSplitter {

    private final EncodingRegistry registry = Encodings.newLazyEncodingRegistry();
    private final Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);

    // The target size of each text chunk in tokens
    // 生成每个块的大小，比如一段文本总的 tokens 为 1600，此时 defaultChunkSize=800，
    // 那么就将 text 的 tokens 拆分成为两个
    private int defaultChunkSize = 800;

    // The minimum size of each text chunk in characters
    // 拆分后的文本块的最小字符数
    private int minChunkSizeChars = 350;

    // Discard chunks shorter than this
    // 丢弃块的最短长度，这个指的是字符，
    // 如果字符长度小于该值，则不再嵌入处理直接丢弃
    private int minChunkLengthToEmbed = 5;

    // The maximum number of chunks to generate from a text
    // 一个文本最多生成的块的最大数量
    private int maxNumChunks = 10000;
   
   // 是否保留分割符，如果值为 true，会执行 chunkText.trim()
    private boolean keepSeparator = true;

    public TokenTextSplitter() {
    }
}

当修改 defaultChunkSize = 100 时，上传文本被拆分为 5 个数据块。然后在进行测试，效果如下；

设置合理的 chunk size 可以比较精确的查询上下文信息，而且可以控制发送给大模型窗口的大小。

TokenTextSplitter 底层使用技术

底层依赖 jtokkit，一个专为 Java 开发者设计的高效文本分词库。它提供了一种简单易用的接口，使您能够轻松地对输入文本进行编码和解码。有兴趣的可以深入看下。

<dependency>
    <groupId>com.knuddels</groupId>
    <artifactId>jtokkit</artifactId>
    <version>1.0.0</version>
</dependency>

文件写入 DocumentWriter

public interface DocumentWriter extends Consumer<List<Document>> {
    default void write(List<Document> documents) {
       accept(documents);
    }
}

实现类有两个：

• FileDocumentWriter：持久化到文件中
• VectorStore：持久化到向量数据库中，Spring AI 集成 10+ 种。

简单的 RAG 系统的实现

离线部分

离线部分主要使用 Spring AI ETL FrameWork 完成文件的处理。

package org.ivy.service;

import lombok.RequiredArgsConstructor;
import org.springframework.ai.document.Document;
import org.springframework.ai.document.DocumentTransformer;
import org.springframework.ai.reader.tika.TikaDocumentReader;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.core.io.Resource;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import java.util.List;

@Service
@RequiredArgsConstructor
public class OfflineService {

    private final VectorStore vectorStore;
    private final DocumentTransformer transformer;

    /**
     * 上传文件，并拆分文档，向量化到数据库
     *
     * @param file 文件
     * @return 上传结果
     */
    public String upload(MultipartFile file) {
        Resource resource = file.getResource();
        TikaDocumentReader reader = new TikaDocumentReader(resource);
        // 读取文档
        List<Document> documents = reader.get();
        // 拆分文档
        List<Document> transform = transformer.transform(documents);
        // 向量化到数据库
        vectorStore.accept(transform);
        return "ok";
    }
}

在线部分

主要是去向量数据库相似度查询，重点看下 SearchRequest 请求对象，其中包含一些请求参数控制；

public class SearchRequest {
    // 相似度查询阈值，默认为 0.0，为提高相似度准确性，可以提高此值
    public static final double SIMILARITY_THRESHOLD_ACCEPT_ALL = 0.0;
    // 相似度前 k 个
    public static final int DEFAULT_TOP_K = 4;
    // 查询内容
    public String query;
    // 返回 topK 个文档
    private int topK = DEFAULT_TOP_K;
    // 相似度阈值，默认为 0.0
    private double similarityThreshold = SIMILARITY_THRESHOLD_ACCEPT_ALL;
    // 过滤条件，根据元数据进行过滤，可以辅助精确检索
    private Filter.Expression filterExpression;
    }

在线部分代码实现；

package org.ivy.service;

import jakarta.annotation.Resource;
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.chat.prompt.SystemPromptTemplate;
import org.springframework.ai.document.Document;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.ai.vectorstore.SearchRequest;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;
import reactor.core.publisher.Flux;

import java.util.List;
import java.util.Map;

@Service
public class OnlineService {
    @Value("classpath:rag.st")
    private org.springframework.core.io.Resource ragTemplate;
    @Resource
    private OllamaChatModel chatModel;
    @Resource
    private VectorStore vectorStore;

    public Flux<String> simple(String prompt) {
        ChatClient client = ChatClient.builder(chatModel).build();
        return client.prompt()
                .user(prompt)
                .stream()
                .content();

    }

    public Flux<String> rag(String prompt) {
        // 检索
        SearchRequest searchRequest = SearchRequest.query(prompt);
        List<Document> documents = vectorStore.similaritySearch(searchRequest);
        // 提示词生成
        List<String> context = documents.stream().map(Document::getContent).toList();
        SystemPromptTemplate promptTemplate = new SystemPromptTemplate(ragTemplate);
        Prompt p = promptTemplate.create(Map.of("context", context, "question", prompt));
        ChatClient chatClient = ChatClient.builder(chatModel).build();
        // 大模型生成内容
        return chatClient.prompt(p).stream().content();
    }
}

验证效果

验证一：访问无 rag 实现接口，localhost:8806/simple?prompt=ivy 毕业于哪个大学？

由于在大模型中没有这方面的知识，因此大模型无法回答我们提出的问题。

验证二：访问 rag 实现接口，并且向量数据库没有信息，localhost:8806/rag?prompt=ivy 毕业于哪个大学？

大模型依然不能回答我们提的问题，因为即使我们提供了外部数据，但是外部数据没有数据，不能提供上下文信息。

验证三，先将准备的数据，导入到向量数据库，然后在访问 rag 接口

第一步：导入数据，localhost:8806/upload

第二步：访问 rag 接口，localhost:8806/rag?prompt=ivy 毕业于哪个大学？

至此完成了一个基于 RAG 技术的本地问答系统。

这仅是一个入门版的 RAG，要想应用于生产，还是需要下一番功夫，对其各方面进行优化，比如文档的切分方式、粒度、查询召回率等等。后续会有专栏进行对 RAG 的技术细节、优化落地进行详细剖析，敬请期待！