Ovis: 多模态大语言模型的结构化嵌入对齐

Visual Tokenization

在各种视觉任务中，视觉输入的分词已被广泛探索。VQVAE 通过将视觉输入编码为离散潜变量，结合了变分自编码器和向量量化的原理。这种方法有助于生成高质量和多样化的输出，适用于图像生成和压缩等任务。基于 VQVAE，VQGAN 引入了 PatchGAN 的对抗训练框架，增强了生成图像的真实感。借助类似于 VQVAE 的视觉分词策略，BEIT 在预训练阶段使用离散视觉 tokens。在这个阶段，输入图像的部分区域被屏蔽，模型预测这些屏蔽区域的离散 tokens，类似于 BERT 中的遮蔽语言建模。由于缺乏与语言模态的联合建模，将离散化的视觉 tokens 与 MLLM 结合的研究较少。视觉 tokens 的离散化已经被研究用于将视觉输出与扩散模型的输入联系起来，其中在训练过程中使用额外的重构损失和解码器。一种最近的方法采用线性头层对视觉信息进行分词，这与本文的方法有所不同。具体而言，该方法中的头层仅在蒸馏的方式下基于视觉数据进行训练，而本文则使用来自于视觉语言数据的 LLM 反向传播的梯度来优化视觉头层。此外，提出学习一个专门针对视觉信息的独特视觉嵌入表，而不是像前人那样直接使用 LLM 的文本嵌入表来检索视觉 tokens 的嵌入。

Ovis

在本节中，首先回顾了 MLLM 中视觉和文本嵌入策略的差异。接着，介绍本文提出的架构 Ovis，该架构在 LLM 中结合了用于概率令牌的线性映射和额外的视觉嵌入查找表。

Difference between Visual and Textual Tokens

[图：视觉与文本 Token 对比]

Probabilistic Visual Tokens

为了激发 MLLM 的潜力，在图像和文本之间对齐内部分词策略，而不是在方程 1 中使用连续视觉 tokens。 [图：概率视觉 Token 示意图]

Visual Embedding Table

[图：视觉嵌入表结构]

Training Strategy of Ovis

视觉嵌入和文本嵌入结合在一起作为 LLM 的输入。特别地，输入以下多模态嵌入序列： [图：训练输入序列示例]

Experiments

在本节中，提供实证结果，以展示所提出的 MLLM 架构 Ovis 的有效性。

Experimental Setup

实现细节： Ovis 包含三个配置：LLM 模块、ViT 骨干网络和视觉词汇表大小。将流行的开源 LLM（Qwen1.5-Chat 和 Llama3-Instruct）和 ViT（Clip-ViT-L/14@336px）集成到 Ovis 中。视觉词汇表的大小设定为 2^{17} = 131072，这一数值与 LLM 的文本词汇表大小相当。为了促进社区使用和未来的创新，Ovis 架构及其训练代码基于广泛使用的 Transformers 和 DeepSpeed 包构建。在表 4 中详细列出了每个阶段的训练超参数。

训练数据集： Ovis 主要在开源数据集上进行训练，辅以少量内部数据集。所使用的数据集可以分为三类：视觉描述、视觉描述和多模态指令，分别用于训练过程的第一、第二和第三阶段。视觉描述数据集是根据图像与其描述之间的相似性从 COYO 数据集中提取的。作者利用 COYO 数据集中提供的'clip-similarity-vitb32'和'clip-similarity-vitl14'得分来实现这一目的。具体而言，从 COYO 数据集中选择所有相似性指标均超过 0.36 的条目。视觉描述数据集和多模态指令数据集均转换为与 LLaVA-Finetune 相同的格式。训练数据集的统计信息在表 5 中报告。

Main Results

在多种基准上评估 Ovis，涵盖了一般多模态能力基准（MMMU、MMBench-EN、MMBench-CN 和 MMStar），以及更专业的多模态任务基准（MathVista-Mini、MME、HallusionBench 和 RealWorldQA）。评估使用 VLMEvalKit 包进行。Ovis 与流行的开源 MLLM 和领先的专有模型在基准性能上的比较总结在表 1 和表 2 中，所比较模型的基准得分主要来自 VLMEvalKit，以保持一致性。

可以看出，Ovis-8B 在大多数基准测试中优于同类大小的开源模型。Ovis-14B 不仅在所有基准中表现出色，还在大多数基准中超越了高资源的专有模型 Qwen-VL-Plus。在视觉不可或缺的多模态基准 MMStar 中，Ovis-8B 在与比较的开源 MLLMs 的较量中表现出明显优势，突显了其利用视觉信息的能力。Ovis 在极具挑战性的大学级别 MMMU 基准中也取得了领先结果，展示了强大的视觉理解和推理能力。MMBench-EN 和 MMBench-CN 基准仅在语言上有所不同。尽管 Ovis 的训练数据集中包含的非英语样本很少，但 Ovis 在两个版本中均表现良好。Ovis-14B 在 MMBench-EN 和 MMBench-CN 中的表现始终出色，这表明 Ovis 在多模态能力上的优势不仅限于英语，还能够扩展到中文等其他语言。

专注于专业的多模态基准测试，作者发现 Ovis 在数学和逻辑推理方面的多模态能力优于开源竞争对手，这在 MathVista-Mini 基准测试中得到了显著体现。尽管 Ovis 仅采用了 336px 的 ViT 主干，并未使用 LLaVA-Next 中的动态高分辨率等高分辨率增强技术，也未配备 Mini-Gemini-HD 中的双视觉编码器，Ovis 在包含高分辨率图像（如 1080P）的真实世界视觉任务的 RealWorldQA 基准测试中表现令人印象深刻。值得注意的是，Ovis-14B 在 RealWorldQA 中的得分甚至高于领先的专有模型 GPT4V，展示了其在解决实际视觉任务中的出色多模态能力。在 MME 和幻觉基准测试中，Ovis-8B 和 Ovis-14B 分别在 7B 和 14B 层级中表现最佳。这表明 Ovis 强大的视觉理解和推理能力伴随着较低的幻觉率，这在医学等关键场景中应用 MLLM 时是一个非常理想的特性。

Ablation Study

为了进一步阐明 Ovis 架构设计的优势，作者对 Ovis-7B 与一个基于连接器的 MLLM 进行了比较实验，该模型采用与 Ovis-7B 相同的 LLM 和 ViT 主干。作者将连接器实现为一个带有 GELU 激活函数的两层 MLP。MLP 的隐藏层大小配置为与 Ovis-7B 的视觉词汇大小相匹配，以确保连接器基于的 MLLM 和 Ovis-7B 在参数数量上相当。在与 Ovis-7B 相同的数据集上训练该连接器基于的 MLLM。实验结果汇总在表 3 中。值得注意的是，Ovis 在所有基准评估中始终优于基于连接器的架构，平均实现了 8.8% 的性能提升。考虑到相同的参数数量、主干和训练数据集，这些结果有力地支持了 Ovis 架构设计的有效性。

Conclusion

作者强调了在 MLLM 中结构性对齐视觉嵌入与文本嵌入的必要性，考虑到它们在标记化和嵌入策略上的不同。在 Ovis 中，引入了一个额外的视觉嵌入查找表。图像块被映射为概率性标记，这些标记然后索引视觉嵌入表，并以类似于文本嵌入的结构方式进行转换。通过各种多模态基准的实证评估验证了 Ovis 的有效性，结果表明它在相似参数规模的开源 MLLM 和专有模型 Qwen-VL-Plus 中表现优异。

Broader Impact and Limitations

广泛影响

作为一种强大的多模态大语言模型架构，Ovis 有潜力通过增强视觉内容与文本分析之间的交互，惠及广泛的用户。然而，必须承认 Ovis 可能带来的负面影响，例如幻觉风险，即 Ovis 可能生成误导性或不正确信息，可能导致虚假信息的传播。此外，Ovis 也存在偏见和潜在的危害，这是生成模型中常见的问题。这些潜在的不利影响可以通过内容审查机制和透明的模型开发来减轻。

局限性

尽管 Ovis 展示了良好的性能，但在处理高分辨率图像的视觉任务时，其效果有限，因为缺乏高分辨率增强技术。此外，Ovis 仅使用单图像样本进行训练，这在面对需要跨多个图像进行视觉理解的场景时会带来挑战。大量研究工作已致力于这些领域，主要是在基于连接器的框架内。从这些研究中汲取灵感，计划在未来版本中增强 Ovis 的能力，以更好地处理高分辨率图像和多图像输入。