RAG 工程实践拦路虎之一：PDF 格式解析杂谈

从 PDF 100% 效果还原的角度考虑，图片/文本之间的重叠，图片合并，合并后不失真等，也是需要考虑的事项之一。有时文本层覆盖在图片层之上，导致直接提取文本会丢失图片信息。

7. 元数据提取

在 PDF 中隐藏的元数据信息是 RAG 产品的关键数据，比如链接、目录、字体等等。这些信息对于文档溯源和权限管理至关重要。

8. 扫描件

PDF 中如果是扫描件，依靠 OCR 模型可能是无法有效的提取，这里面包含了清晰度、模型的稳定性等等问题。低分辨率扫描件会导致高错误率。

9. Latex 公式提取

在一些特殊领域，PDF 文本中包含了 Latex 等数学公式。通过完整的提取和转换是对 RAG 问答的有效补充。普通 OCR 很难识别复杂的数学符号。

技术可行性

我们从解析 PDF 的技术可行性角度，考虑哪些方面值得我们重点关注和突破：

• 文字提取能力，逐行提取：确保能够准确地提取 PDF 文件中的文字内容，并按照正确的顺序进行排列和输出，避免文字乱码（字体编码问题）。
• 简单/复杂表格完整提取：对 PDF 文件中的表格进行完整提取，包括表格内的内容和格式。需要识别边框线和单元格边界。
• 图片提取/合并：提取 PDF 文件中的图片，并保留其原始质量和格式。注意图片是否被压缩或分片存储。
• 文档布局 (Block 块的标识) 识别：识别 PDF 文件的布局，包括页面的排列方式、文本和图片的位置等信息。利用坐标聚类算法。
• 文档结构识别 (标题、目录)，内容顺序输出：识别 PDF 文件的结构，包括标题、目录等信息，并确保输出内容的顺序正确。利用字体大小和加粗特征辅助判断。
• 转换为 Markdown 格式：将解析后的 PDF 文件内容转换为 Markdown 格式，以便于后续的处理和分享。Markdown 是 RAG 系统中常用的中间格式。

开源技术方案

结合上面的技术难点/方案及可行性上去分析，我们可以看看目前开源的技术组件中，有哪些是我们可以考虑进行结合的。

当前技术栈主要以 Java+Python 双语作为底层的应用开发语言，接下来我们可以看看在这两个编程语言中，有哪些开源的方案可以使用。

Java 生态

在 Java 生态中，对于 PDF 组件处理的开源方案不多见，Apache PDFBOX 是当前最强的，也是最好的。

Java 代码示例：使用 PDFBox 提取文本与坐标

import org.apache.pdfbox.pdmodel.PDDocument;
import org.apache.pdfbox.text.PDFTextStripper;
import java.io.IOException;

public class PdfExtractor {
    public static void main(String[] args) throws IOException {
        try (PDDocument document = PDDocument.load(new File("input.pdf"))) {
            PDFTextStripper stripper = new PDFTextStripper();
            // 设置提取顺序，这里默认按页面顺序
            String text = stripper.getText(document);
            System.out.println(text);
        }
    }
}

Python 生态

Python 生态的 PDF 提取组件还是蛮多的，不过也是有不同的侧重，比如 pdfplumber、camelot 等都专注在表格的提取上，提供了开箱即用的方案。

Python 代码示例：使用 PyMuPDF 提取带坐标的文本

import fitz  # PyMuPDF

def extract_text_with_coords(pdf_path):
    doc = fitz.open(pdf_path)
    for page_num, page in enumerate(doc):
        blocks = page.get_text("dict")["blocks"]
        for block in blocks:
            if "lines" in block:
                for line in block["lines"]:
                    for span in line["spans"]:
                        text = span["text"]
                        bbox = span["bbox"]  # [x0, y0, x1, y1]
                        print(f"Page {page_num}: {text} at {bbox}")
    doc.close()

OCR 生态/大模型

在上面 Python 和 Java 生态库的开源组件，基本都是针对文字的 PDF 处理为主，当我们的 PDF 是扫描件时，那上面的组件统统失效，都提取不出来文本信息。此时就需要用到 OCR 的模型进行提取。

考虑到如果是 OCR 提取，那么最终的目的是将 PDF 文件 Page 页码内容提取出完整的图片 Image，所以本质上是对图片内容的理解。

可以考虑的开源组件如下：

技术准备/细节

在解析 PDF 时，我们也会有一些其他方面的知识储备，以便我们快速应对不同的业务需求及应用产品形态。

1. 图形类 API

不管是 Java 还是 Python 里面，对于处理 PDF 中间件的部分，都需要对图形类的 API/算法熟悉和掌握，这里面包含图形的转换、缩放、矩阵坐标、截取等等，都会在 PDF 提取的过程中使用到。

2. PDF 标准

在处理 PDF 中，结合开源的技术中间件，对于 PDF 的 ISO 标准，我们也是需要了解的，这样更加有利于开发人员理解中间件的代码写法及含义。了解 PDF 对象树结构有助于调试解析失败的情况。

3. 边/线/矩阵算法等

对于文本/边框的聚类算法等，在根据元素坐标高效还原时，利用高效的算法可以提高解析速度以及内容还原度。例如使用 DBSCAN 聚类算法来识别表格行和列。

4. OCR/LLM 模型等

了解学习在用 OCR/LLM 模型分析布局、边界检测等等技术上的一些算法及数据工程上的实践。例如使用 Transformer 架构进行文档布局分析。

5. PDF 页面旋转

有时候原 PDF 可能会有旋转 (0、90、180、270 度)，需先校正后，再次提取内容。可以通过检查页面字典中的 Rotate 属性来实现自动校正。

6. 字体/乱码

系统/服务器中缺失 PDF 中的字体，导致文本提取乱码。解决方法包括嵌入字体或使用通用字体映射表，或者在提取前将 PDF 渲染为图片再 OCR。

实施策略与 RAG 集成

为了将解析后的 PDF 内容有效应用于 RAG 系统，除了提取本身，还需要考虑后续的切片和索引策略。

1. 基于 Block 的切片

不要简单地按字符数切分。应优先保持语义完整性。如果一个 Block 是完整的段落或表格，尽量不切断它。如果超过最大 Token 限制，再在句子级别进行截断。

2. 元数据注入

在提取文本的同时，务必保留来源文件名、页码、章节标题等元数据。这些信息在检索阶段可以作为过滤条件（Filter），提高召回准确率。

3. 评估体系

建立解析质量的评估体系。人工抽检是关键。指标包括：文本准确率、表格结构还原率、图片关联正确率。定期对比不同解析工具的产出差异。

4. 异常处理机制

PDF 解析极易遇到异常情况（损坏文件、加密文件、特殊编码）。系统必须具备健壮的异常捕获和降级处理能力，例如遇到解析失败的页面自动跳过或标记为待人工处理，而不是导致整个任务崩溃。

总结

PDF 解析是 RAG 工程实践中不可忽视的基础设施。没有高质量的解析，就没有高质量的向量检索。建议采用混合策略：常规文本用传统库（PyMuPDF/PDFBox），复杂表格用专用库（Camelot/pdfplumber），扫描件用 OCR（PaddleOCR/Tesseract），复杂布局尝试视觉大模型。同时，重视坐标信息的保留和阅读顺序的重建，这是实现高精度还原的核心。