PageIndex 无分块文档索引技术详解

快速上手教程

环境准备

我们先准备好依赖环境，在项目根目录下执行：

pip3 install --upgrade -r requirements.txt

配置 API 密钥

创建 .env 文件并填入您的 OpenAI API 密钥：

OPENAI_API_KEY=your_openai_key_here

运行 PageIndex

处理您的 PDF 文档，基本命令如下：

python3 run_pageindex.py --pdf_path /path/to/your/document.pdf

自定义参数

您可以根据实际需求调整处理效果，常用参数包括：

• --model：使用的 OpenAI 模型（默认：gpt-4o-2024-11-20）
• --toc-check-pages：检查目录的页数（默认：20）
• --max-pages-per-node：每个节点的最大页数（默认：10）

实践案例展示

项目中提供了多个 Notebook 示例供参考。

无向量 RAG 示例

cookbook/pageindex_RAG_simple.ipynb 提供了一个最小化的推理式 RAG 实现，无需向量数据库即可完成高效检索。

视觉检索工作流

cookbook/vision_RAG_pageindex.ipynb 展示了无 OCR 的文档理解能力，直接在页面图像上进行检索和推理。

性能基准测试

PageIndex 驱动的推理式 RAG 系统在 FinanceBench 基准测试中达到了98.7% 的准确率，显著优于传统基于向量的 RAG 系统。在复杂财务报告（如 SEC 文件和收益披露）的分析中，PageIndex 的层次索引实现了精确导航和相关内容的提取。

最佳实践建议

配置优化

根据您的文档类型调整 pageindex/config.yaml 中的参数：

model: "gpt-4o-2024-11-20"
toc_check_page_num: 20
max_page_num_each_node: 10

代码模块说明

• pageindex/page_index.py：核心处理逻辑
• pageindex/utils.py：工具函数集合
• run_pageindex.py：主要运行脚本

进阶应用场景

PageIndex 不仅适用于 PDF 文档，还支持 Markdown 文件的树状结构生成。使用 --md_path 参数即可处理 Markdown 格式的文档。

部署选项

您可以选择自托管方式，使用此开源仓库在本地运行，确保数据隐私与可控性。