RAG 进阶：多模态图片检索技术实践

将 extract_images_in_pdf 设置为 True 后，unstructured 会自动识别 PDF 中的图像对象并将其保存为独立的图片文件。执行代码后，我们可以观察到 GPU 资源的消耗，这是因为底层可能调用了如 microsoft/table-transformer-struct-recognition 等模型进行辅助分析。

验证提取结果

通过命令行查看生成的图片列表：

ls -alt images/

程序会输出类似以下的文件列表，这些即为从 PDF 中抽离出的原始图表和图片：

• figure-1-1.jpg
• figure-2-1.png
• ...

我们可以使用 IPython 的 Image 类来预览其中一张图片，确认提取是否完整。

图片摘要生成

为了让向量数据库能够检索图片，我们需要将图片转换为可嵌入的文本表示。由于图片本身无法直接计算向量，我们利用多模态大模型（如 GPT-4V）为每张图片生成一段描述性的摘要（Summary）。这段摘要将作为检索的依据。

ImageSummarizer 类设计

我们封装了一个 ImageSummarizer 类，负责读取图片、编码并调用 LLM 生成摘要。

import base64
from langchain.chat_models import ChatOpenAI
from langchain.schema import HumanMessage

class ImageSummarizer:
    def __init__(self, image_path: str) -> None:
        self.image_path = image_path
        # 提示词工程：明确角色和任务，优化摘要以利于检索
        self.prompt = """
            You are an assistant tasked with summarizing images for retrieval.
            These summaries will be embedded and used to retrieve the raw image.
            Give a concise summary of the image that is well optimized for retrieval.
            Focus on key data points, trends, and labels visible in the chart.
        """

    def base64_encode_image(self) -> str:
        with open(self.image_path, "rb") as image_file:
            return base64.b64encode(image_file.read()).decode("utf-8")

    def summarize(self, prompt=None):
        if prompt is None:
            prompt = self.prompt
        
        base64_image_data = self.base64_encode_image()
        chat = ChatOpenAI(model="gpt-4-vision-preview", max_tokens=1000)
        
        response = chat.invoke([
            HumanMessage(
                content=[
                    {
                        "type": "text",
                        "text": prompt
                    },
                    {
                        "type": "image_url",
                        "image_url": {"url": f"data:image/jpeg;base64,{base64_image_data}"}
                    }
                ]
            )
        ])
        
        return base64_image_data, response.content

关键点说明：

1. Base64 编码：大多数多模态 API 要求图片以 Base64 字符串形式传入，或者提供 URL。这里采用内联 Base64 方式。
2. Prompt 优化：提示词中强调了'optimized for retrieval'，引导模型生成包含关键词的描述，而非单纯的文学性描述。
3. 模型选择：使用 gpt-4-vision-preview 或后续的稳定版本 gpt-4o 以获得更好的视觉理解能力。

批量处理流程

遍历所有提取出的图片，生成对应的摘要列表：

import os

image_data_list = []
image_summary_list = []

for img_file in sorted(os.listdir(images_path)):
    if img_file.endswith((".jpg", ".png")):
        summarizer = ImageSummarizer(os.path.join(images_path, img_file))
        data, summary = summarizer.summarize()
        image_data_list.append(data)
        image_summary_list.append(summary)

print(f"Processed {len(image_summary_list)} images.")

生成的摘要示例如下：

"The image contains three bar charts showing holiday sales growth from 2019 to 2023. The highest peak occurred in 2021."

构建多向量检索器 (MultiVectorRetriever)

传统的 RAG 是将文档切片后直接向量化。而在多模态场景中，我们采用'摘要向量 + 原始数据'的双层存储策略。这被称为 MultiVectorRetriever 模式。

关联逻辑

1. 摘要文档：将图片的文本摘要作为 Document 的内容，存入向量数据库。这是用户查询时匹配的对象。
2. 原始数据：将原始图片的 Base64 数据存储在文档存储（Docstore）中，并通过唯一的 ID 与摘要文档关联。

当用户提问时，系统先在向量库中搜索匹配的摘要，然后根据摘要中的元数据 ID，从 Docstore 中取出原始图片展示给用户或传给 LLM 进行深度分析。

from uuid import uuid4
from langchain.docstore.document import Document
from langchain.vectorstores import FAISS  # 或其他向量库

# 假设 retriever 已初始化
id_key = "doc_id"
doc_ids = [str(uuid4()) for _ in image_data_list]

# 创建摘要文档
summary_images = [
    Document(page_content=s, metadata={id_key: doc_ids[i]})
    for i, s in enumerate(image_summary_list)
]

# 添加摘要到向量库
retriever.vectorstore.add_documents(summary_images)

# 将原始图片数据存入文档存储
retriever.docstore.mset(list(zip(doc_ids, image_data_list)))

原理分析

这种架构的优势在于：

• 检索效率：文本摘要比原始图片更易于被语义向量模型捕捉，提高了召回率。
• 上下文完整性：检索到的不仅仅是文本片段，而是完整的原始视觉信息。
• 成本优化：LLM 只在最终生成回答时处理图片，检索阶段仅处理文本摘要，降低了 Token 消耗。

查询与验证

完成索引构建后，我们可以通过自然语言查询来测试系统的效果。

测试用例

query = "Which year had the highest holiday sales growth?"
response = chain.invoke(query)
print(response)

预期结果

系统应能正确识别出图片中的柱状图信息，并指出 2021 年存在最高峰增长。如果配置了正确的工具链，系统不仅会返回文本答案，还能在后台检索到对应的原始图片，供人类验证或进一步展示。

总结与展望

本文详细阐述了如何基于 LangChain 和 LlamaIndex 实现多模态 RAG 系统。核心步骤包括：

1. 数据解析：利用 unstructured 提取 PDF 中的图片和表格。
2. 视觉摘要：通过 GPT-4V 将图片转化为可检索的文本描述。
3. 向量关联：使用 MultiVectorRetriever 建立摘要与原始图片的映射关系。

潜在挑战

在实际生产环境中，还需注意以下问题：

• API 成本：GPT-4V 的调用成本高于纯文本模型，需权衡摘要生成的频率和质量。
• 延迟问题：图片处理和编码会增加响应时间，建议引入异步处理机制。
• 隐私安全：上传的图片可能包含敏感商业数据，需确保符合企业合规要求。

未来，随着开源多模态模型（如 LLaVA）的成熟，我们可以考虑本地部署方案，进一步降低对闭源 API 的依赖，提升数据安全性。通过结合文本、图像和表格的多模态检索，RAG 系统将能更全面地理解复杂的企业知识库，为用户提供更精准的决策支持。