LangChain PyPDFLoader 实战：PDF 加载、分块与图片 OCR 提取

目标：加载完整 PDF，查看总页数、第一页文本和元数据。

from langchain_community.document_loaders import PyPDFLoader

# 1. 初始化加载器（传入 PDF 文件路径，支持相对路径/绝对路径）
# 相对路径：相对于当前代码文件的路径（如 data/test.pdf）
# 绝对路径：如 "C:/docs/test.pdf"（Windows）或 "/home/user/docs/test.pdf"（Linux）
loader = PyPDFLoader("data/test.pdf")

# 2. 加载所有页面（返回 Document 对象列表）
pages = loader.load()

# 3. 查看基础信息
print(f"PDF 总页数：{len(pages)}")  # 输出总页数
print(f"\n第一页元数据：{pages[0].metadata}")  # 元数据（source、page 等）
print(f"\n第一页前 200 字符预览：\n{pages[0].page_content[:200]}...")  # 文本预览

输出示例：

PDF 总页数：10
第一页元数据：{'source': 'data/test.pdf', 'page': 1}
第一页前 200 字符预览：
LangChain PyPDFLoader 实战指南
1. 概述 PyPDFLoader 是 LangChain 社区版中用于解析 PDF 文件的核心加载器，支持按页拆分、元数据保留...

场景 2：按需加载指定页码

目标：加载 PDF 的'第 2-4 页'（注意：load() 方法的参数是索引，从 0 开始，即第 2 页对应索引 1，第 4 页对应索引 3）。

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("data/test.pdf")
# 加载第 2-4 页（索引 1、2、3）
target_pages = loader.load([1, 2, 3])

# 验证结果
for idx, page in enumerate(target_pages):
    print(f"第{idx+2}页元数据：{page.metadata}")  # 页码应为 2、3、4
    print(f"第{idx+2}页前 100 字符：{page.page_content[:100]}...\n")

关键注意点：
loader.load() 的参数是'索引列表'，而非'页码列表'——比如要加载第 5-7 页，需传入 [4, 5, 6]，避免混淆！

场景 3：合并所有页面为单个文本

目标：将所有页面的文本合并为一个字符串（适用于无需按页拆分的场景，如'生成 PDF 全文摘要'）。

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("data/test.pdf")
pages = loader.load()

# 合并所有页面文本（用两个换行符分隔页面，避免文本粘连）
full_text = "\n\n".join([page.page_content for page in pages])

# 查看合并结果
print(f"合并后全文总字符数：{len(full_text)}")
print(f"\n全文前 500 字符预览：\n{full_text[:500]}...")

实用技巧：
如果 PDF 页面间有重复内容（如页眉'LangChain 指南'），可在合并前添加'去重逻辑'，例如：

# 合并时去除每页开头的重复页眉（示例：页眉为"LangChain 指南"）
full_text = "\n\n".join([page.page_content.replace("LangChain 指南", "") for page in pages])

常见问题与解决方案（避坑指南）

在实际使用中，最常遇到'加载失败'和'分块不理想'两类问题，以下是针对性解决方案。

问题 1：PDF 无法加载或内容为空

常见原因与解决步骤

2. 若需代码解密，可先用 PyPDF2 库解密后再加载 | | 3. 文件路径错误 | 报错 FileNotFoundError: [Errno 2] No such file or directory | 1. 检查路径是否存在（用 os.path.exists("data/test.pdf") 验证）；
3. 优先使用绝对路径避免相对路径混淆 | | 4. 文件损坏 | 报错 PdfReadError: EOF marker not found | 重新下载或修复 PDF 文件（用 Adobe Acrobat 修复） |

加密 PDF 解密示例（用 PyPDF2）

若 PDF 需密码，可先解密再传给 PyPDFLoader：

from PyPDF2 import PdfReader, PdfWriter
from langchain_community.document_loaders import PyPDFLoader
import os

# 1. 解密 PDF 并保存为临时文件
def decrypt_pdf(input_path, output_path, password):
    reader = PdfReader(input_path)
    if reader.is_encrypted:
        reader.decrypt(password)  # 传入 PDF 密码
    # 保存解密后的文件
    writer = PdfWriter()
    for page in reader.pages:
        writer.add_page(page)
    with open(output_path, "wb") as f:
        writer.write(f)
    print(f"解密后的 PDF 已保存至：{output_path}")

# 2. 解密并加载
decrypt_pdf(
    input_path="data/encrypted_test.pdf",  # 加密 PDF 路径
    output_path="data/decrypted_test.pdf",  # 解密后保存路径
    password="123456"  # PDF 密码
)

# 3. 用 PyPDFLoader 加载解密后的文件
loader = PyPDFLoader("data/decrypted_test.pdf")
pages = loader.load()
print(f"解密后 PDF 总页数：{len(pages)}")

问题 2：文本分块不理想（如句子被截断）

PyPDFLoader 仅负责'提取文本'，若需将文本拆分为适合大模型输入的'小块'（如 500 字符/块），需结合 RecursiveCharacterTextSplitter 优化分块策略。

解决方案：自定义分块参数

from langchain_community.document_loaders import PyPDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 1. 加载 PDF
loader = PyPDFLoader("data/test.pdf")
pages = loader.load()

# 2. 初始化文本分割器（核心参数说明）
text_splitter = RecursiveCharacterTextSplitter(
    separators=["\n\n", "\n", "."],  # 优先按段落（\n\n）、再按换行（\n）、最后按句号（.）分割
    chunk_size=500,  # 每个块的最大字符数（根据大模型上下文窗口调整，如 GPT-3.5 用 500-1000）
    chunk_overlap=50,  # 块之间的重叠字符数（避免上下文丢失，如前块结尾 50 字符与后块开头重叠）
    length_function=len  # 字符数计算方式（默认 len，即按字符数）
)

# 3. 执行分块
split_docs = text_splitter.split_documents(pages)

# 4. 查看分块结果
print(f"原始页面数：{len(pages)}")
print(f"分块后总块数：{len(split_docs)}")
print(f"\n第一个块内容：\n{split_docs[0].page_content}")
print(f"\n第一个块元数据（含页码）：{split_docs[0].metadata}")

参数调整建议：

• 若处理长文档（如论文）：chunk_size=1000，chunk_overlap=100；
• 若处理短文本（如产品手册）：chunk_size=300，chunk_overlap=30；
• 若中文文本出现'断句异常'：可在 separators 中添加'。''！''？'，如 separators=["\n\n", "\n", "。", "！", "？", "."]。

进阶：PDF 图片提取（含 OCR 实战）

PyPDFLoader 默认仅提取'文本层'的内容，若 PDF 中包含'图片'（如截图、手写笔记、图表中的文字），需结合OCR 工具提取图片中的文本。

这里推荐轻量级 OCR 工具 rapidocr-onnxruntime，支持中英混合识别，且无需复杂配置。

工具介绍：RapidOCR-ONNXRuntime

与主流 OCR 工具对比

实战：提取 PDF 中的图片文本

步骤 1：安装依赖

# 安装 rapidocr-onnxruntime（首次安装会自动下载小模型，耗时约 1-2 分钟）
pip install rapidocr-onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

步骤 2：代码实现（图片文本提取）

from langchain_community.document_loaders import PyPDFLoader

# 关键：初始化时设置 extract_images=True，启用图片提取
loader = PyPDFLoader("data/pdf-img.pdf", extract_images=True)

# 加载页面（图片中的文本会自动嵌入到 page_content 中）
pages = loader.load()

# 查看结果（图片中的文本会跟在该页原有文本后）
print(f"总页数：{len(pages)}")
print(f"\n包含图片的页面内容（前 500 字符）：\n{pages[0].page_content[:500]}...")

效果说明：
若 PDF 第 1 页包含一张'写有'LangChain RAG'的图片'，则 pages[0].page_content 会包含：
【原有文本】... [图片文本：LangChain RAG] ...
（不同版本的 PyPDFLoader 可能会用不同标记包裹图片文本，以实际输出为准）

高级技巧：批量处理文件夹中的所有 PDF

若需一次性加载'某个文件夹下的所有 PDF'（如 docs/ 文件夹），可结合 os 库遍历文件夹，实现批量加载。

from langchain_community.document_loaders import PyPDFLoader
import os

# 目标文件夹路径
pdf_folder = "docs/"

# 存储所有 PDF 的页面
all_pages = []

# 遍历文件夹中的所有文件
for filename in os.listdir(pdf_folder):
    # 仅处理后缀为.pdf 的文件
    if filename.lower().endswith(".pdf"):
        # 拼接完整文件路径
        pdf_path = os.path.join(pdf_folder, filename)
        try:
            # 加载当前 PDF
            loader = PyPDFLoader(pdf_path)
            pages = loader.load()
            all_pages.extend(pages)
            print(f"成功加载：{filename}（{len(pages)}页）")
        except Exception as e:
            # 捕获异常，避免单个文件错误导致整个批量任务失败
            print(f"加载{filename}失败：{str(e)}")

# 查看批量加载结果
print(f"\n批量加载完成：共加载{len(all_pages)}页 PDF")

# 合并所有文本（可选）
full_text = "\n\n".join([page.page_content for page in all_pages])
print(f"所有 PDF 合并后总字符数：{len(full_text)}")

实用优化：

1. 跳过隐藏文件：在循环中添加 if filename.startswith('.'): continue（避免 macOS 下的 .DS_Store 文件）；
2. 多线程加载：若文件夹中 PDF 数量多（如 100+），可使用 concurrent.futures 多线程加载，提升效率：

from concurrent.futures import ThreadPoolExecutor

def load_single_pdf(pdf_path):
    """单个 PDF 加载函数（供多线程调用）"""
    try:
        loader = PyPDFLoader(pdf_path)
        pages = loader.load()
        print(f"成功加载：{os.path.basename(pdf_path)}（{len(pages)}页）")
        return pages
    except Exception as e:
        print(f"加载{os.path.basename(pdf_path)}失败：{str(e)}")
        return []

# 多线程批量加载（设置最大线程数为 4，避免资源占用过高）
with ThreadPoolExecutor(max_workers=4) as executor:
    # 获取所有 PDF 路径
    pdf_paths = [os.path.join(pdf_folder, f) for f in os.listdir(pdf_folder) if f.lower().endswith(".pdf")]
    # 批量执行
    results = executor.map(load_single_pdf, pdf_paths)
    # 合并结果
    all_pages = [page for result in results for page in result]

总结与下一步

本文核心收获

1. 基础能力：掌握 PyPDFLoader 的安装、单文件加载、按需加载、全文合并；
2. 问题解决：能排查'加载失败''分块不理想'等常见问题；
3. 进阶技能：结合 RapidOCR-ONNXRuntime 提取 PDF 图片文本，实现批量 PDF 处理；
4. RAG 衔接：提取后的 Document 对象可直接传入文本分割器，为后续'向量数据库构建'做准备。