PageIndex 无分块文档索引系统实战指南
PageIndex 是一个专为基于推理的 RAG（检索增强生成）设计的文档索引系统。在处理专业长文档时，传统向量检索往往面临'相似性≠相关性'的困境。PageIndex 通过树状索引和推理搜索，实现了更接近人类专家级别的文档分析能力。
核心设计思路
该系统采用无向量数据库、无分块的创新架构。它不依赖人工分块，而是按自然章节组织文档，让 AI 能够像人类专家一样思考和推理，精准定位文档中最相关的内容。
主要优势包括：
- 无向量数据库：使用文档结构和 LLM 推理进行检索
- 无分块处理：按自然章节组织文档，而非人工分块
- 人类级检索：模拟专家在复杂文档中导航和提取知识的过程
- 透明检索流程：基于推理的检索，可追溯且可解释
树状结构解析
PageIndex 能够将冗长的 PDF 文档转换为语义树状结构，类似于'目录'但为大型语言模型优化。这种结构特别适合财务报表、监管文件、学术教材、法律或技术手册等超出 LLM 上下文限制的文档。
生成的节点示例如下：
{
"title": "Financial Stability",
"node_id": "0006",
"start_index": 21,
"end_index": 22,
"summary": "The Federal Reserve ...",
"nodes": [
{
"title": "Monitoring Financial Vulnerabilities",
"node_id": "0007"
}
]
}
环境搭建与运行
1. 安装依赖
先准备好运行环境，更新依赖包：
pip3 install --upgrade -r requirements.txt
2. 配置 API 密钥
在根目录创建 .env 文件，添加您的 OpenAI API 密钥。注意不要将密钥提交到公共仓库。
OPENAI_API_KEY=your_openai_key_here
3. 执行索引
处理您的 PDF 文档，命令如下：
python3 run_pageindex.py --pdf_path /path/to/your/document.pdf
4. 参数调优
你可以通过可选参数优化处理效果，例如调整模型或节点页数限制：
--model：使用的 OpenAI 模型（默认：gpt-4o-2024-11-20）--toc-check-pages：检查目录的页数（默认：20）--max-pages-per-node：每个节点的最大页数（默认：10）
实践场景参考
无向量 RAG 实现
项目中提供了最小化的推理式 RAG 实现示例，无需向量数据库即可完成高效检索。这有助于理解如何在没有传统向量库的情况下构建检索链路。
视觉检索工作流
另有示例展示了无 OCR 的文档理解能力，支持直接在页面图像上进行检索和推理，这对于包含图表或复杂排版的文档特别有用。
性能与配置建议
在 FinanceBench 基准测试中，PageIndex 驱动的推理式 RAG 系统达到了较高的准确率，显著优于传统基于向量的 RAG 系统。特别是在复杂财务报告的分析中，其层次索引实现了精确导航和相关内容的提取。
根据文档类型调整配置文件中的参数通常能获得更好效果。核心逻辑位于 pageindex/page_index.py，工具函数集合在 pageindex/utils.py，主运行脚本为 run_pageindex.py。
进阶应用
PageIndex 不仅适用于 PDF 文档，还支持 Markdown 文件的树状结构生成。使用 --md_path 参数即可处理 Markdown 格式的文档。
部署方面，你可以选择自托管开源仓库在本地运行，或者通过云服务、MCP 及 API 即时体验。
