Python 库 unstructured：高效转换 PDF、Word 等非结构化数据

输出示例会显示元素的类别（如 Title, NarrativeText, ListItem）及其内容。对于复杂 PDF，建议使用高分辨率策略来提取表格：

from unstructured.partition.pdf import partition_pdf

# strategy="hi_res" 使用计算机视觉和 OCR 提取表格
elements = partition_pdf(filename="example.pdf", strategy="hi_res")

注意：hi_res 策略计算成本较高，但能更好地处理布局复杂的文档。需确保已安装 Tesseract 和 Poppler。

2. 清理（Cleaning）

提取出的文本往往包含噪音，清理模块可以帮助移除标点、样板文本或统一大小写。

from unstructured.cleaners.core import clean, remove_punctuation

text = "Hello, World!!! This is a test..."
cleaned_text = clean(text, lowercase=True)
cleaned_text = remove_punctuation(cleaned_text)
print(cleaned_text)  # 输出：hello world this is a test

在实际项目中，我们通常结合分区结果对每个 Element 进行清洗，然后再送入 LLM。

3. 格式化（Staging）

为了适配下游任务（如 JSON 存储或 LLM 输入），需要将元素列表转换为特定格式。

from unstructured.staging.base import convert_to_dict

json_data = convert_to_dict(elements)
print(json_data[:2])

这会生成包含类型、文本和元数据的 JSON 结构，非常适合 RAG 系统的向量数据库导入。

集成与应用场景

LangChain 集成

在构建 RAG 应用时，unstructured 常与 LangChain 配合使用。通过 UnstructuredLoader，可以无缝加载文档。

from langchain_unstructured import UnstructuredLoader

# 本地加载
loader = UnstructuredLoader(file_path="example.pdf")
docs = loader.load()

# 使用 Serverless API 加载（需安装 unstructured-client 并获取密钥）
# loader = UnstructuredLoader(
#     file_path="example.pdf",
#     api_key="your_api_key",
#     strategy="hi_res"
# )
# docs = loader.load()

print(docs[0].page_content[:100])

实际工作流示例

下面是一个综合示例，展示了从解析、清理到保存 JSON 的完整流程，并集成了日志记录。

from unstructured.partition.auto import partition
from unstructured.cleaners.core import clean, remove_punctuation
from unstructured.staging.base import convert_to_dict
import json
from loguru import logger

logger.add("app.log", rotation="1 MB", level="INFO")

try:
    logger.info("Starting PDF processing")
    # 解析 PDF，使用 hi_res 策略确保表格准确
    elements = partition(filename="sample.pdf", strategy="hi_res")
    
    cleaned_elements = []
    for element in elements:
        text = clean(element.text, lowercase=True)
        text = remove_punctuation(text)
        cleaned_elements.append({"type": element.category, "text": text})
    
    logger.info("Text cleaning completed")
    
    # 转换为 JSON 保存
    json_data = convert_to_dict(cleaned_elements)
    with open("output.json", "w") as f:
        json.dump(json_data, f, indent=2)
    
    logger.info("JSON output saved")
except Exception as e:
    logger.exception("Failed to process PDF")
    raise

性能与局限性

虽然 unstructured 功能强大，但在实际使用中需注意以下几点：

• 依赖管理：本地处理 PDF 必须安装 Tesseract 和 Poppler，否则报错。
• 误识别风险：DOCX 解析有时会将列表项误识为标题，建议后处理验证。
• 上下文缺失：大型文档可能缺乏父子关系标注，影响 LLM 对上下文的理解，需手动解析。
• 隐私设置：默认包含轻量级分析 ping，可通过环境变量 DO_NOT_TRACK=true 禁用。

总结

unstructured 为处理非结构化数据提供了标准化的解决方案。无论是构建 RAG 系统还是准备 ML 训练数据，它都能显著降低数据预处理的复杂度。结合 LangChain 和 Docker 部署，可以快速搭建生产级的文档处理管道。