大模型驱动文档图像识别技术革新

2.2 在图像领域的不足

尽管 GPT-4V 的水平达到了相当高的程度，但它并未完全解决 OCR 文档识别领域的所有挑战。

在测试中，它显露出一些明显的短板，首当其冲的是对中文的识别。无论是手写还是印刷文字，GPT-4V 在识别后输出了大量与实际文章无关的内容。此外，对于一些简单的手写公式，GPT-4V 也无法完美地进行识别。

对于长文档，仍然有文档解析和识别的前置依赖。ChatGPT 调用了开源的 PyPDF2，而该插件效果一般，且输出不支持表格结构、不支持扫描件、不支持处理复杂版式、不支持定位到原文。

总结其不足主要有：

• 图像配准算法选择限制：在图像配准时，缺乏指定算法的情况下，优先选择常见算法，如 Threshold。这可能导致对于复杂和特殊图像任务处理能力的限制。
• 时间关系推理困难：在理解和解释图像内容方面表现出色，但在推理多个图像之间的时间关系方面存在困难。
• 视觉依赖型问题的限制：对视觉依赖型问题的回答完全依赖于图像内容。缺乏图像信息时，其回答可能变得不确定或无法确切回答。
• 领域泛化能力与'编造'事实问题：尽管具有出色的领域泛化能力，但在测试中可能出现'编造'事实的情况，影响其在特定领域的可靠性和准确性。

三、垂直大模型解决方案

通过对 GPT-4V 和文档识别领域的深入分析和思考，为 OCR 文档识别领域的研究开辟了新的方向。需求不断增长的背景下，提高识别精度和处理效率成为了迫切需要满足的新应用标准。在这一背景下，出现了以下新方向：

• 素级 OCR 统一模型
• OCR 大一统模型
• 文档识别分析 + LLM（Language Model）

3.1 素级 OCR 统一模型

素级 OCR 统一模型，即 UPOCR（Unified Pixel-Level OCR）模型，是一种文档图像像素级多任务处理的统一模型。该模型是由合合信息与华南理工大学联合实验室研发的研究项目之一。

UPOCR 模型的主要特点是引入了可学习的文本检测和识别模块，可以同时完成多个任务，包括文本检测、文本识别、端到端 OCR 等。这一特性使得 UPOCR 模型在处理文档图像时具有较高的效率和准确性。此外，UPOCR 模型还具有较好的通用性，不仅可以处理中英文文档，还可以处理包含公式、表格等复杂结构的文档。

在实际应用中，UPOCR 的通用性在文本擦除、文本分割和篡改文本检测任务中经过广泛验证。

UPOCR 采用 ViTEraser 作为其主干网络，通过统一训练联合处理文本擦除、文本分割和篡改文本检测等三种不同任务的提示词。一经完成模型训练，即可无需专门的下游任务精调，直接用于各类下游任务。这种设计减少了误差传播，提升了整体系统的鲁棒性。

总的来说，素级 OCR 统一模型 UPOCR 在文档图像预处理统一模型方面展现出了强大的实力和广泛的应用前景。

3.2 OCR 大一统模型 - SPTS v3

OCR 大一统模型是一种创新的端到端文本检测和识别方法，也称为 SPTS（Simultaneous Processing of Text Spotting and Recognition）。这种方法颠覆了传统的文本检测和识别流程。在传统的方法中，文本检测和识别被视为两个独立的任务，这导致处理流程复杂且冗余。然而，SPTS 将这两个任务融为一体，实现了从文本检测到识别的统一处理。

将文档图像识别分析的各项任务以序列预测的方式进行定义，包括对文本、段落、版面、表格、公式等内容的分析。通过采用不同的提示（prompt）来引导模型执行不同的 OCR 任务，实现了多任务处理的灵活性。该系统支持篇章级的文档图像识别分析，能够输出标准格式的文本，如 Markdown、HTML 等。

其中，通过引入 LLM（Language Model）来处理文档理解相关的工作，进一步提高了系统对于文档结构和内容的理解能力。这种设计使得系统在处理多样性的文档图像时能够更全面、准确地进行分析，并以标准格式输出，为用户提供更便捷的文档处理和理解服务。

SPTS v3 介绍

• 多任务序列预测：SPTS v3 通过将多种 OCR 任务抽象为序列预测问题，实现了对文本、段落、版面、表格、公式等不同元素的有序识别和分析。这种设计使得模型能够以一种统一的方式处理各种 OCR 任务。
• Prompt 引导：采用了不同的 prompt 来引导模型完成不同的 OCR 任务。每个任务对应一个独特的提示，这样的引导机制使得模型在学习过程中能够专注于不同的目标，提高了系统的灵活性和适应性。
• 模型架构：延续了 SPTS 的模型结构，包括了 CNN（卷积神经网络）用于图像特征提取，以及 Transformer Encoder 和 Transformer Decoder 用于实现图像到序列的转换。这种结构旨在充分捕捉图像中的语义信息，同时具有较强的序列生成能力。
• 任务通用性：由于采用了序列预测的形式，SPTS v3 在任务通用性上表现出色。这使得模型在不同场景和不同任务的 OCR 挑战中都能够取得良好的性能。

SPTSv3 的任务定义，目前主要关注以下任务：端到端检测识别、表格结构识别、手写数学公式识别。

3.3 文档识别分析 + LLM

文档识别分析与 LLM（Large Language Model，大型语言模型）的结合是一种新兴的研究方向。LLM 是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。其核心能力大致分为：生成、总结、提取、分类、检索与改写六部分。

在文档识别分析领域与 LLM 应用相结合方面，提出了如下技术框架：首先，通过文档识别与版面分析技术，系统能够获取输入文档图像的关键信息。随后，对文档进行切分和召回操作，以便更精准地定位和检索所需信息。最终，利用 LLM 进行问答，进一步加强对文档内容的理解与交互。这一综合性的技术流程旨在提升文档识别与理解的整体效能。

将文档识别技术与大型语言模型相融合，为许多有前途的领域打开了大门，涉及到多个可能的应用和思考方向。以下是其中一些潜在的方向：

• 智能文档搜索与检索：结合文档识别技术和 LLM，可以建立更智能、语义理解的文档搜索引擎。用户可以通过自然语言提出问题，系统能够理解问题背后的语境并返回相关文档、段落或答案，提高文档检索的精度和效率。
• 自动文档摘要生成：利用 LLM 的文本生成能力，结合文档识别技术，可以实现自动文档摘要的生成。系统可以从文档中抽取关键信息，生成简明扼要的摘要，为用户提供更便捷的文档浏览和理解方式。
• 多模态文档理解：结合文档识别技术和 LLM，可以实现多模态文档理解，不仅包括文本信息的处理，还包括图像、表格等多种形式的内容。这样的系统可以更全面地理解和分析复杂的文档结构。
• 定制化文档生成：利用 LLM 的生成能力，结合文档识别技术，可以实现根据用户需求自动定制化文档的生成。系统可以从大量文档中筛选、整合信息，生成满足用户需求的文档，提高文档生成的效率和质量。

这些方向展示了文档识别技术与 LLM 应用相结合的广阔前景，涉及到信息检索、自然语言理解、问答系统等多个领域，为提升文档处理和理解的智能化水平提供了丰富的可能性。

四、总结与展望

文档图像识别技术正处于从传统规则驱动向大模型驱动转型的关键时期。通用大模型虽然展现了强大的多模态理解能力，但在专业 OCR 场景下的精度、格式还原及事实准确性上仍存在局限。垂直领域大模型通过统一架构（如 UPOCR）和序列预测范式（如 SPTS v3），有效解决了多任务协同和复杂版式解析的问题。

未来，随着 LLM 与 OCR 技术的深度融合，文档处理将不再局限于简单的文字提取，而是向着智能理解、知识检索和自动化生成的方向发展。开发者应关注统一模型架构的优化，以及如何在保证精度的前提下降低计算成本，推动技术在更多实际业务场景中的落地应用。