深度解析：利用文档图像大模型增强智能文档处理效能

![图片：GPT-4V 复杂场景价格识别]

GPT-4V 除了在表格文档中表现优异外，还能够针对统计图，包括曲线图、柱状图等进行处理，能够清晰的描述图表中的内容，同时在根据图表内容进行编码和问答等方面表现出巨大的潜力。而传统方法对此领域的研究效果相对一般，且泛化能力与 GPT-4V 有相当大的差距。

![图片：GPT-4V 图表理解能力]

在文档图像处理领域的某些问题上，GPT-4V 超出了传统方法的研究水平。例如在专业学科问题上，针对建筑场景的设计图、生物、地理学科的图文结合理解，对于传统方法而言仍然是较大挑战。

![图片：GPT-4V 专业学科图文理解]

看到 GPT-4V 在智能文档处理领域的优异表现后，接下来，我们需要回答以下问题：在 GPT-4V 模型提出后，传统的光学字符识别（Optical Character Recognition, OCR）是否面临淘汰的窘境？

GPT-4V 对智能文档处理的局限性

尽管以 GPT-4V 为代表的大模型在认知和理解等层面取得了非常惊艳的效果，但在文档处理领域中面临的问题，例如图像质量、文字识别和版面分析等仍然存在。

GPT-4V 仍然无法解决所有 OCR 问题。例如，在中文领域，无论是印刷还是手写字体，经常会出现幻觉现象（幻觉现象是指模型生成的内容与现实世界事实或用户输入不一致的现象，通俗理解就是，模型在'胡说八道'），经常会出现大段的不存在内容。在智能文档处理（Intelligent Document Processing, IDP）领域，幻觉现象的出现可能通常是由于模型在识别文档时就偏离了文档所内容造成。研究表明，在处理非拉丁语言和复杂任务（如手写数学表达式识别、表格结构识别以及从文档图像中进行端到端语义实体识别和对抽取）时仍存在困难。基于此，专门的 OCR 模型仍具有必要性和研究价值。

![图片：GPT-4V 幻觉现象示例]

为了全面衡量 GPT-4V 在 IDP 领域的表现，研究人员对 GPT-4V 在一系列 OCR 任务中的表现进行了量化评估，包括场景文字识别、手写文字识别、手写数学表达式识别、表格结构识别以及从视觉丰富的文档中提取信息等。评估结果显示，除了在手写英文识别问题上，GPT-4V 接近 SOTA 水平外，无论是场景文字识别、手写公式识别等 OCR 任务中，GPT-4V 距离 SOTA 水平仍有较大差距。在手写公式识别任务中，GPT-4V 甚至只有 10% 左右的准确率，完全无法进行正常应用，而 SOTA 仍然可以达到 60%-70% 的水平。

![图片：GPT-4V 与 SOTA 准确率对比]

另一方面，虽然 GPT-4V 能做到 OCR 文档识别，但对于特别长的文档，例如包含 300 页左右的文档，会超出 GPT-4V 所能处理的范畴，其依赖于前置的文档识别系统的精度。并且文档不仅有文字，还包含结构与版式，无论是扫描文档或电子文档，对于 GPT-4V 都是未解决的问题。对于稍加复杂的文档，其解析效果就会较差，如果前置识别效果较差，那么文档理解效果将大打折扣。

并且在视觉丰富的密集文本中，多模态大模型仍无法取得理想结果，主要是因为它们更倾向于基于文本的语义分析，而在视觉数据解析方面能力相对不足。这就导致在处理细粒度文本（例如细小的签名、复杂的古文字）时，传统的语言模型无法有效应对。为了克服这些限制，就需要融合专门的 OCR 技术和算法来实现准确的文本识别和提取。

![图片：密集文本识别难点]

大模型时代下的智能文档处理

尽管存在上述限制，GPT-4V 和其他通用 LLM 仍然可以通过增强语义理解、微调下游任务以及促进自动/半自动数据构建等方式，显著推动 OCR 领域的发展。这些方法有助于提高 OCR 系统的准确性、效率和适应性，为实现更准确和高效的 OCR 提供了潜在的解决方案。

像素级 OCR 统一模型

在 IDP 领域，GPT-4V 仍然无法处理像素级任务，而在文档解析与识别任务上，GPT-4V 仍然距离传统技术存在差距，GPT-4V 的强项在于文档信息抽取与理解等认知层面上。利用 GPT-4V 提供的大模型范式，在像素级 OCR 上做统一模型，能够提升领域性能上限，弥补 GPT-4V 的缺陷。

针对目前 OCR 的多数模型通常是针对特定任务设计的，采用不同的架构和训练策略，这极大地增加了研究和维护的复杂性，并阻碍了模型在应用中的快速部署。因此，合合信息 - 华南理工大学文档图像分析识别与理解联合实验室研究了 UPOCR，用于统一的像素级 OCR 模型。具体而言，UPOCR 将不同 OCR 任务的范例统一为图像到图像的转换，并使用基于视觉 Transformer（ViT）的编码器 - 解码器架构。

![图片：UPOCR 模型架构示意]

实验结果表明，UPOCR 模型在三个像素级 OCR 任务上，包括文本去除、文本分割和篡改文本检测，均实现了 SOTA 性能，而仅使用一个统一的模型，为通用 OCR 模型的研究提供了有益参考。

![图片：UPOCR 任务性能对比]

OCR 大一统模型

令计算机理解文档图像是一项困难但至关重要的任务，它涉及到复杂的功能，例如文本识别和对文档的整体理解。目前的视觉文档理解（Visual Document Understanding, VDU）方法主要依赖传统的 OCR 引擎来处理文本识别，并且主要关注使用 OCR 输出进行理解。尽管这些基于 OCR 的方法表现出一定的准确性，但它们也存在以下问题：高昂的计算成本；对语言和文档类型的灵活性有限；OCR 错误可能会影响后续处理过程。

为解决上述问题，Donut 模型移除了 OCR，使用 Transformer 架构，并使用交叉熵损失进行预训练。而 NOUGAT 模型通过 Swin Transformer 和 Transformer Decoder 实现文档图像到文档序列输出，主要解决了 PDF 格式会导致语义信息丢失的问题。KOSMOS2.5 是用于阅读文本密集图像的多模态模型，基于 Pix2Seq 架构根据输入图像输出文本块识别结果，该模型可以通过微调轻松适应任何具有不同 prompt 的文本密集图像理解任务。

丁凯博士分享了 OCR 大一统模型相关的研究范式：

• 将文档图像识别分析的各种任务定义为序列预测的形式
• 通过不同的 prompt 引导模型完成不同的 OCR 任务
• 支持篇章级的文档图像识别分析，输出 Markdown/HTML/Text 等标准格式
• 将文档理解相关的工作交给 LLM 去做

团队基于上述理念与其他 SOTA VDU 模型，提出了 OCR 大一统模型 SPTS v3，将多种 OCR 任务定义为序列预测的形式，通过不同的 prompt 引导模型完成不同的 OCR 任务。

![图片：SPTS v3 模型流程]

文档识别分析与 LLM 应用融合

在论坛分享的最后，丁凯博士展示了合合信息对于多模态大模型在文档领域应用的范式。该范式包含文档和用户问题（首先处理文档的图像形式，包括扫描的纸质文件、拍照的照片，或电子文档的页面图像）、文档识别与版面分析（识别文档中的文字、图片、表格等元素，并分析版面布局，包括标题、段落、页眉和页脚，用于理解文档的总体结构和内容组织）、文档切分与召回（将文档切分，将不同部分的内容分离出来，以便进行进一步处理和分析，此外，实施召回策略用于检索和提取文档中的特定元素，如标题、关键字和段落内容）和 LLM 问答（大语言模型问答用于文档中信息提取的问答任务，通过训练模型理解文档内容，实现高度智能化的信息提取和交互，以便用户可以快速获取所需信息）等关键步骤。

![图片：文档识别与 LLM 融合范式]

最后，丁凯博士以相关产品对财报问答的实践为例，展示了合合信息在文档识别分析与 LLM 应用融合方面的研究进展。通常，诸如财报之类的文档内容长（有时多大数百页）、图表多，版式杂（混合使用多种图表）、专业性强（包含大量专业术语）以及数据多，相似概念多（多个概念是同一数据的不同表述），因此传统的处理方法存在处理效率低、语义解析能力不足等问题。而新的模型能够从复杂的文档中提取关键信息，并以人类可读的方式呈现给用户。例如，它可以识别重要的数据和图表，并解析其中的信息，并且还能够理解上下文和语义关系，帮助用户更好地理解和分析文档内容。

![图片：财报问答系统演示]

文档图像大模型发展展望

通过整合图像、文字和语音等多种模态数据，以 GPT-4V 为代表的多模态大模型技术极大的推动了文档识别与分析领域的进步，为传统的图像文档处理技术带来了重大挑战，但仍然存在许多亟待解决的问题，需要进一步的研究和探索。例如文档识别等感知层面的研究、以及如何更好地结合大模型的能力来优化图像文档处理。

随着技术的不断进步，感知与认知的结合将会为用户带来更加智能、高效、便捷的图像文档处理体验，实现更深入的语义理解和分析，从而提高文档的组织、分类和检索等方面的效率和精度。未来，我们期待在模式识别、深度学习、图像处理和自然语言处理等领域继续深入探索和研究，以推动技术创新。特别是在边缘计算设备上部署轻量化 OCR 模型，以及在隐私保护前提下利用联邦学习优化模型性能，将是重要的研究方向。

此外，针对长文档的处理，未来的系统将需要引入更高效的注意力机制和分层处理策略，以突破当前大模型的上下文窗口限制。同时，跨模态对齐的精度提升也是关键，确保视觉特征与文本语义的精准映射，减少幻觉产生的概率。通过这些技术路径的持续优化，智能文档处理将迈向更高的自动化和智能化水平。

小结

尽管多模态大模型技术在智能文档处理领域有着重要的作用，但它并没有完全解决该领域面临的问题。本文通过回顾丁凯博士在第十九届中国图象图形学学会青年科学家会议 - 垂直领域大模型论坛上的报告，介绍了 GPT-4V 在 IDP 领域的优异性能及其面临的挑战，然后介绍了合合信息在文档感知方面的研究进展，并分析了如何将文档识别分析与大语言模型融合，以进一步提高图像文档处理的性能。

![图片：总结图示]