背景引入
在人工智能飞速发展的今天，大模型的感知能力已经达到了令人惊叹的水平。然而，它们是否真的能够像人类一样，洞悉图片中的深层含义？为了探讨多模态大模型（MLLMs）与人类认知的差距，来自中科院深圳先进院、M-A-P、华中科技大学、零一万物、滑铁卢大学等多家机构联合提出了首个用于评估多模态大模型图像隐喻理解能力的综合性基准测试——II-Bench。
在多模态大模型的世界中，图像隐喻理解（Image Implication Understanding） 正成为一个全新的挑战。图像隐喻理解不仅仅是识别图像中的物体，它要求模型具备多跳逻辑推理能力和心智理论（Theory of Mind, ToM），这是属于人类的高级认知能力。与简单的图像理解任务相比，图像隐喻理解要求模型能够捕捉到图像中的隐喻、象征以及细微的情感表达，这无疑是对 MLLMs 的一次严峻考验。
II-Bench 数据集构建
为了全面评估 MLLMs 的高级感知能力，研究团队精心打造了 II-Bench 数据集。从 20,150 张原始图片中，经过三阶段严格的数据筛选流程——图像去重、文本与图像比例控制以及人工审核，最终得到了 1,222 张图片和 1,434 个问题。
II-Bench 覆盖了生活、艺术、社会、心理、环境等六大领域，图片类型包括插画、梗图、海报、漫画、Logo 和绘画等。这种跨领域和跨类别的设计，使得对模型的理解和推理能力的评估更加客观和全面。
实验设置
研究团队在 II-Bench 上对 20 种 MLLMs 进行了广泛的实验。实验设置了不同的提示方式，包括思维链（Chain-of-Thought, CoT）、多样本学习（Few-Shot Learning）、图像关键词提取等，以评估模型在不同条件下的表现。通过对比不同提示策略下的模型输出，研究人员旨在探究哪些方法能有效提升模型对隐含意义的理解。
评测结果分析
实验结果显示了当前多模态大模型在高级认知任务上的局限性：
- 人机差距显著：MLLMs 在图像含义理解方面与人类存在显著差距。模型的最高准确率仅为 74.8%，而人类的平均准确率高达 90%，最佳表现甚至达到了 98%。
- 开源与闭源性能：闭源模型通常优于开源模型，但领先闭源模型与领先开源模型之间的性能差距微乎其微，仅为 1% 左右。这表明开源社区正在快速追赶。
- 领域差异：在不同领域的表现上，模型在艺术和心理等包含抽象和复杂信息的领域表现较差，而在环境、生活、社会等其他领域表现较好。这暗示模型在处理具象信息时更强，处理抽象概念时较弱。
- 情感倾向影响：当在提示中加入图像的情感倾向信息时，模型的得分普遍提高，这表明模型在图像情感理解方面存在不足，容易导致对隐含意义的误解。
- 提示工程效果：思维链（CoT）和多样本学习对模型在 II-Bench 的得分提升上无明显效果。这说明现有的推理增强方法可能并不适用于此类深层语义理解任务。
- 情感感知偏差：MLLMs 对于难度的感知和人类是对齐的，但是对于隐含情感的感知和人类相悖，相比中立和负面情感，模型在正面隐喻情感上的表现更好。
错误分析
研究人员对 GPT-4V 在 II-Bench 上的错误进行了深入分析，错误类型包括隐喻理解错误、细节理解错误、细节忽略、表面层次理解、推理错误、拒绝回答和答案提取错误。
GPT-4V 最常见的错误类型是隐喻理解错误，占比高达 36%。这种错误表明，尽管 MLLMs 在表面级别的图像识别上表现出色，但当涉及到图像中的隐喻和象征性含义时，它们的理解能力仍然有限。这可能是因为隐喻通常需要对文化背景和情境有深刻的理解，而 MLLMs 可能缺乏这种深层次的语义关联能力。
同时，占比 12% 的推理错误表明，在需要复杂逻辑和多步骤推理的任务中，MLLMs 的性能不足，这反映了模型在处理高级认知任务时的局限性。这些发现揭示了当前 AI 系统在模拟人类心智理论方面的不足。
总结与展望
最后简单总结一下，II-Bench 是一个旨在评估多模态大模型（MLLMs）在图像隐喻理解方面的综合性基准测试。II-Bench 的广度体现在其精心构建的包含 1,222 张图片和 1,434 个问题的数据上，这些问题覆盖了生活、艺术、社会、心理、环境等六大领域。
评估结果揭示了当前 MLLMs 在图像含义理解方面与人类相比存在显著差距。II-Bench 的目标是衡量 MLLMs 在高级感知、推理和理解能力方面的进展，并在未来将继续扩展其所涵盖的领域和任务类型。研究人员相信，II-Bench 将进一步激发 MLLMs 的研究和开发，推动人工智能在图像情感理解、隐喻识别和深层次含义推断等高级认知任务上的发展，使得人们能够更接近实现具有高级心智理论（ToM）的真正智能的多模态系统。
未来的研究方向可能包括改进模型对文化背景的编码能力，探索更有效的提示策略以激活模型的潜在推理能力，以及在训练数据中引入更多富含隐喻和象征意义的样本。通过这些努力，我们有望缩小机器与人类在语义理解层面的鸿沟。
