LangChain4j 中 RAG 系统文档加载、解析与分块策略详解

关键参数

• maxSegmentSize：片段的最大大小。可以基于字符数（maxSegmentSizeInChars）或Token 数（maxSegmentSizeInTokens）设定。使用 Token 计数（需提供 TokenCountEstimator，如 HuggingFaceTokenizer）能更精确地控制送入 LLM 的上下文长度。
• maxOverlapSize：相邻片段之间的重叠大小。这能有效缓解关键信息被切分到边界导致丢失的问题。最佳实践通常建议设置在 maxSegmentSize 的 10%-20% 之间。

三、分块策略选择指南

在技术选型时，可以按照以下思路来展示对分块策略的理解深度：

1. 明确业务目标：首先需要明确，分块的最终目的是为了提高检索的查准率和查全率。
2. 分析文档特征：了解待处理文档的类型是关键。
   • 文档是长篇章回体小说还是短平快的 FAQ？ → 前者适合递归分割或句子分割，后者可能直接以句子为块。
   • 文档是自然语言报告还是结构化的代码？ → 前者用递归/句子分割，后者用行分割。
3. 考虑下游模型：LLM 的上下文窗口大小和 Embedding 模型对输入长度的限制，直接决定了 maxSegmentSize 的上限。
4. 实验迭代：没有放之四海而皆准的策略。需要通过实验，对比不同策略下的检索效果（如命中率、准确率）来最终确定。

示例回答："在我之前的项目中，我们处理的是混合了技术文档和 API 参考的手册。对于描述性强的技术文档，我们采用了 DocumentSplitters.recursive(500, 75)，以 Token 为单位，确保语义相对完整；而对于 API 参考中的代码片段和参数说明，我们则选用了 DocumentByLineSplitter，保留其结构。同时，我们通过设置 10%-15% 的重叠，有效避免了关键参数被截断的问题。"

四、实战代码片段

以下是一个完整的配置示例，展示了如何串联加载、解析、分块、向量化和存储：

import dev.langchain4j.data.document.Document;
import dev.langchain4j.data.document.loader.FileSystemDocumentLoader;
import dev.langchain4j.data.document.parser.apache.tika.ApacheTikaDocumentParser;
import dev.langchain4j.data.document.splitter.DocumentSplitters;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.embedding.EmbeddingModel;
import dev.langchain4j.store.embedding.EmbeddingStore;
import dev.langchain4j.store.embedding.EmbeddingStoreIngestor;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.nio.file.Paths;
import java.util.List;

@Configuration
public class RagIngestionConfig {
    @Bean
    public EmbeddingStoreIngestor embeddingStoreIngestor(
            EmbeddingStore<TextSegment> embeddingStore,
            EmbeddingModel embeddingModel) {
        // 注入你的向量存储（如 Redis, PGVector）
        // 注入你的嵌入模型（如 OpenAi, Ollama）

        // 1. 加载文档：使用 Tika 解析器，从指定路径加载所有文件
        List<Document> documents = FileSystemDocumentLoader.loadDocuments(
                Paths.get("/path/to/your/knowledge-base"),
                new ApacheTikaDocumentParser());

        // 2. 创建分割器：递归分割，最大 500 Token，重叠 50 Token
        // 注意：使用 Token 分割需要提供 TokenCountEstimator，此处为简化使用字符分割
        // 实际使用中可替换为 DocumentSplitters.recursive(500, 50, tokenizer)
        var splitter = DocumentSplitters.recursive(500, 50);

        // 3. 构建并执行摄取管道
        EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
                .embeddingStore(embeddingStore)
                .embeddingModel(embeddingModel)
                .documentSplitter(splitter)
                .build();
        
        ingestor.ingest(documents); // 执行：分割 -> 向量化 -> 存储
        return ingestor;
    }
}