香港科技大学等机构提出的 Image-Textualization（IT）框架，旨在解决现有图像描述数据集质量参差不齐和标注成本高的问题。该框架通过整合多模态大语言模型与视觉专家模型，分三个阶段实现图像信息的自动文本化：粗粒度文本化建立语义骨架，视觉细节文本化提取空间与深度信息并检测幻觉，文本化重述生成最终描述。实验表明，IT 框架生成的描述在细节丰富度和准确性上显著优于现有方法，有效减少了多模态模型的幻觉现象。研究团队还发布了 IT-170K 数据集及开源代码，为多模态大模型训练提供了高质量数据支持。
在当今多模态大模型（Multimodal Large Language Models, MLLMs）的快速发展浪潮中，模型的性能上限往往与其训练数据的质量紧密相关。业界普遍认为，'数据赋予了模型的绝大多数能力'。在这一背景下，图像 - 文本数据集扮演着至关重要的角色，它是支撑图像理解、文本生成以及图像检索等核心任务的基础设施。
然而，现有的主流图像描述数据集主要依赖于网络抓取和人工标注两种方式。网络抓取的数据往往伴随着大量的噪声和不一致性，而人工标注虽然质量较高，但成本极其昂贵，且难以大规模扩展。这导致了现有数据集普遍存在质量参差不齐、细节缺失、描述噪音多等问题。尽管人类专家可以为图像提供详尽的描述，但高昂的人力成本限制了数据集的规模和可行性。因此，迫切需要一种高效、可扩展的方法，能够自动生成准确且详细的图像描述，以解决数据瓶颈问题。
多模态大语言模型旨在让机器同时理解和处理视觉与语言信息。为了实现这一目标，高质量的图文配对数据是不可或缺的。传统的图像描述生成方法通常直接利用多模态模型进行端到端的训练，但这容易受到训练数据中固有偏差的影响。如果训练数据本身包含幻觉或不准确的描述，模型在推理时也会继承这些错误。
此外，现有的自动化数据生成方案往往缺乏对图像细节的精细捕捉。简单的多模态模型生成的描述可能只关注主体物体，忽略了背景、空间关系、深度信息等关键细节。这种'粗粒度'的理解限制了下游任务的表现，特别是在需要高精度理解的场景下。
针对上述挑战，来自香港科技大学、武汉大学、浙江大学及 UIUC 的研究者联合提出了一种创新的自动化框架——Image-Textualization（IT）。该框架通过整合多模态大语言模型（MLLMs）和多种视觉专家模型的协作，将图片信息进行结构化文本化，最后利用拥有强大推理能力的纯文本大语言模型将这些文本化的信息转化为高质量的图像描述。
IT 框架的设计核心在于分阶段处理，充分利用不同模型的优势。整个流程包括三个阶段：
第一阶段的目标是为图像建立一个基本的语义骨架。我们首先利用多模态大语言模型对图片生成参考描述。尽管这些初始描述可能存在细节缺失或轻微的幻觉，但它们为图像的视觉信息和语言表达提供了基本结构。
这里的视觉结构主要体现在参考描述中往往会包含一些大的、核心的物体。这些核心物体可以作为后续细节添加的'锚点'，使得最后的文本化重述（Textualized Recaptioning）能够更好地围绕这些实体展开。从语言表达的角度来看，多模态大模型内部包含的纯文本大语言模型赋予了其较强的语言能力。这使得生成的参考描述在语言组织上具有良好的逻辑性，例如先概述图片内容，再展开细节，最后总结。这种描述风格较为偏向人类的偏好，也为后续的精细化加工提供了一个高质量的语言模板。
第二阶段专注于从图片和文本两端提取并验证细节信息，这是提升描述准确性的关键步骤。
文本端幻觉检测： 由于上一阶段生成的参考描述可能含有幻觉，我们需要进行清洗。首先利用 LLM 去抓取参考描述中含有的实体，再利用开集检测器（Open-vocabulary Detector）在图片里对这些实体进行匹配。如果没有被检测出来，则将该实体判断为幻觉。我们将检测出来的幻觉信息也进行了文本化标记，以便在最后阶段进行删除或修正。
视觉端细节提取： 在视觉端，我们利用在高分辨率图片上训练出来的各个任务上的视觉专家模型来提取图像中的细节信息。仅仅使用物体的 caption 不足以表达丰富的视觉细节。我们首先利用提取这些物体的 bounding box（边界框）来把物体的左右位置关系用文本方式体现出来。
除了左右信息，物体之间还存在前后关系（深度信息）。对此，我们首先利用分割模型（Segmentation Model）将这些物体的 mask 提取出来，再将原本的图片转化为深度图。通过计算深度图中特定物体 mask 对应的深度分数，我们可以将深度信息由文本形式体现出来。至此，我们能够利用文本还原出图片中各个物体的大小、左右位置、前后关系等细节信息，极大地丰富了描述的维度。
第三阶段是最终的合成步骤。结合前两个阶段的图片信息文本化结果，加上我们通过精心设计的改写 prompt，纯文本的大语言模型能够很好地通过纯文本还原出图片的信息。凭借强大的理解和推理能力，模型最终生成详细且准确的图像描述。这一步骤实际上是将分散的视觉线索和初步的语义理解融合成流畅的自然语言。
为了验证 IT 框架的有效性，研究者构建了三个评估基准，分别是 DID-Bench（详细图像描述基准）、D2I-Bench（描述到图像基准）和 LIN-Bench（语言基准），并进行了广泛的实验。
该基准用于评估图片描述和人类手动标注的详细图片描述的相似性。实验结果显示，经过 IT 框架修改后的 LLaVA 和 GPT4-V 生成的图片描述，都比修改前的版本更详细和准确，更贴合人类标注出来的描述。这表明框架成功增强了模型对细节的捕捉能力。
此基准利用文生图模型将生成的描述转化为图片，并与原图进行相似度对比。这里选取了 CLIP-score 和 DINO-score 作为评估指标。CLIP-score 衡量文本嵌入与图像嵌入的余弦相似度，而 DINO-score 则基于自监督视觉表示的特征匹配。实验结果表明，IT 框架生成的描述在这些指标上都能达到更高的分数，说明生成的文本更能准确反映图像内容。
另外，研究者在 POPE 和 LIN-Bench 上验证了利用 IT 框架生成数据进行训练的 LLaVA-7B 模型。结果显示，该模型在生成描述更详细更复杂的情况下（LIN-Bench 表右侧），还能显著降低幻觉现象（POPE 基准表左侧）。这说明高质量的数据不仅能提升表达能力，还能增强模型的真实性。
最后，对生成出的数据进行了统计上的对比，可以看到修改后的描述中各个词性的数量上都有较大的提升，特别是形容词和副词的使用增加，使得描述更加生动具体。
利用我们的图像文本化框架，我们生成了一个大规模高质量的图像描述数据集（IT-170K）。为了促进未来的研究，我们已将所有源代码和生成的数据集公开发布。这将有助于社区进一步探索多模态学习的边界，推动图像理解和生成技术的进一步发展。
我们的工作不仅解决了现有图像描述数据集的局限性，也为设计更高效、可扩展的方法提供了灵感。随着视觉模型和语言模型的不断进化，IT 框架有望在更多应用领域中展示其潜力，例如自动驾驶的场景理解、医疗影像报告生成以及机器人视觉导航等。我们相信，通过持续优化数据生成流程，多模态大模型的能力将得到进一步的释放。
Image-Textualization 框架的核心价值在于它打破了传统数据标注的瓶颈，利用 AI 自身的能力来生产高质量的 AI 训练数据。通过分层处理策略，它兼顾了宏观语义的准确性和微观细节的丰富度。对于从事多模态研究的工程师和学者而言，理解这一框架的工作流，尤其是视觉专家模型与 LLM 的交互机制，对于构建下一代智能系统具有重要的参考价值。
在未来的工作中，我们可以进一步探索如何引入更多的感知模态（如音频、3D 点云），或者如何将此框架应用于视频描述生成领域。同时，减少计算开销也是优化的方向之一，目前依赖多个专家模型可能会带来较高的推理延迟。总体而言，IT 框架为数据为中心的 AI（Data-Centric AI）理念提供了一个强有力的实践案例。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
