本文系统梳理了多模态大模型（MM-LLM）的架构设计与训练流程。文章详细介绍了模型的五部分结构，包括模态编码器、输入投影器、语言模型骨干、输出投影器和模态生成器，并阐述了各组件的实现选择。训练流程涵盖多模态预训练与指令微调两个阶段，重点分析了监督微调与 RLHF 的作用。文中对比了 26 种主流 MM-LLM 模型，从架构与数据集规模维度进行分析，并总结了其在视觉语言评测集上的表现。最后，文章展望了构建更强模型、设计挑战性评估集、轻量化部署、实体智能及持续性指令调整等五大未来发展方向。
最近，多模态大模型取得重大进展。随着数据集和模型的规模不断扩大，传统的 MM 模型带来了巨大的计算量，尤其是从头开始训练的话。研究人员意识到 MM 的研究重点工作在各个模态的连接上，所以一个合理的方法是利用好现成的训练好的单模态基础模型，尤其是 LLM。这样可以减少多模态训练的费用，提升训练效率。
MM-LLM 利用 LLM 为各种 MM 任务提供认知能力。LLM 具有良好的语言生成、zero-shot 和 ICL（In-Context Learning）的能力。其他模态的基础模型则提供了高质量的表征。考虑到不同模态的模型是分开训练的，如何将不同模态连接起来，实现协同推理，是核心挑战。
这里面的主要工作便是通过多模态预训练和多模态的指令微调，来实现模态之间的对齐，以及模型输出与人类意图的对齐。
关于多模态的发展主要有以下几个阶段：
本文接下来的结构如下所示。第二节讲模型架构，第三节讲训练流程。
第二节模型架构分为五部分：不同模态的编码器 Encoder，输入 Projector，LLM 骨干，输出 Projector，不同模态的生成器。
训练流程包含两个部分：预训练流程和指令微调部分。同时提供了主流的数据集的介绍。
第四节，讨论 26 个最先进的多模态模型。
如图 2 所示，这里包含了通用多模态模型结构的五个组件部分，以及每个组件部分的常用选择。多模态理解主要是前三个部分（模态对齐）。训练期间，encoder，LLM Backbone 和 generator 一般保持冻结。主要优化输入和输出的 projector。由于 Projector 是轻量级的模块，MM-LLMs 中可以训练的参数比例和总参数相比非常小（2% 左右），模型的总体参数规模取决于 LLM 部分。
注意：目前有的多模态大模型，也会对 Encoder，甚至 LLM 进行训练，来提升整体的模型的能力。
模态编码器主要是对来自不同模态的输入进行编码，来获得相应的特征：
$$F_X = M_E(X_I)$$
存在各种预训练的编码器来处理不同的模态，模态可以是图像、视频、音频、3D 等。
视觉模态： 对于图像，一般有四个可选的编码器：NFNet-F6, ViT, CLIP ViT, EVA-CLIP ViT。
对于视频，可以统一采样 5 帧，进行与图像同样的处理。
音频模态： 通常使用 C-Former, HuBERT, BEATs 和 Whisper 等进行编码。
输出 projector 的任务是将其他模态的编码特征 $F_X$ 与文本特征空间的特征 $F_T$ 进行对齐。对齐后的特征作为 prompts $P_x$ 联通文本特征 $F_T$ 输入到 LLM Backbone 内。给定 X 模态-text 数据集 $ ext{{}I_X, t}$，目标是最小化生成损失。
输入 Projector 可以通过 MLP 或者多层 MLP 来实现。也有复杂的实现，比如 Cross-Attention, Q-Former, P-Former 等。Cross-Attention 使用一系列的可训练的 query 和编码特征 $F_X$ 作为 key 来压缩特征序列到固定的长度。将压缩的表示特征输给 LLM。
LLM 作为核心智能体，MM-LLMs 可以继承一些显著的属性，如零样本泛化（zero-shot）、少样本 ICL、思想链 (CoT) 和指令遵循。LLM 主干处理来自各种模态的表示，参与有关输入的语义理解、推理和决策。它产生 (1) 直接文本输出 $t$，以及 (2) 来自其他模式（如果有）的信号 token $S_X$。这些信号 token 充当指导生成器是否生成 MM 内容的指令，如果是，则指定要生成的内容：
$$t, S_X = \text{LLM}(P_X, F_T)$$
上式中，其他模态 $P_X$ 的对齐后的表征，可以认为是软 prompt-tuning，输给 LLM Backbone。而且一些研究工作引入了 PEFT 的方法，例如 Prefix-tuning, Adapter 和 LoRA。在这些 case 里面，希望更少的参数可以被训练，甚至少于 0.1% 的 LLM 的参数参与训练。
通常用到的 LLM 模型有 Flan-T5, ChatGLM, UL2, Qwen, Chinchilla, OPT, PaLM, LLaMA, LLaMA2, Vicuna 等。
输出 Projector 将 LLM 的输出的 token 表征 $S_X$ 转变成特征 $H_X$，然后输给生成器 $M_G^X$。
给定数据 X-text 数据集 $ ext{{}I_X, t}$，首先将文本 $t$ 输给 LLM，生成对应的 $S_X$，然后映射得到 $H_X$。模型优化的目标是最小化 $H_X$ 与 $M_G^X$ 的条件文本之间的距离。
模态生成器 $M_G^X$ 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩散模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM-2 用于音频生成。
输出 Projector 输出的特征 $H_X$ 作为条件输入，在去噪的过程中，用于生成 MM 的内容。训练过程中，gt content 首先转换为 latent feature $z_0$，由预训练好的 VQA 模型。然后噪声 $ε$ 加到 $z_0$ 上，获得 noise latent feature $z_t$，预训练好的 UNet 用于计算条件损失，通过最小化 loss 来优化参数。
在预训练阶段，通常利用 X-Text 的数据集，来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。
X-文本数据集包含图像 - 文本、视频 - 文本和音频 - 文本，其中图像 - 文本有两种类型：图像 - 文本对（即 $(I, T)$）和交错图像 - 文本语料库（即 $T_1 > I > T_2$）。这些 X-Text 数据集的详细统计数据如附录 F 的表 3 所示。
多模态微调是对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。
通过这种微调，MM-LLM 是可以遵循新的指令泛化到没有见过的任务，增强 zero-shot 的能力。这个简单而有影响力的概念促进了 NLP 领域后续努力的成功，例如 InstructGPT、OPT-IML、InstructBLIP。
MM IT 包括监督微调（SFT）和 RLHF 两部分，目的是为了使得模型符合人类的意图或者偏好，并且增强 MMLLMs 的交互能力。
SFT 将 PT 阶段的数据转换为指令-aware 的格式，使用 QA 任务作为例子。可以采用各种模板，例如：
(1) {Question} A short answer to the question is;
(2) Examine the image and respond to the following question with a brief answer: {Question}. Answer:
优化目标和预训练是相同的，SFT 数据可以构造为单轮的 QA 或者多轮的 QA。
常用的 SFT 和 RLHF 的数据集见表 4。
如对表 1 所示，对 26 SOTA MM-LLMs 的架构和训练数据集规模进行了全面比较。随后，简要介绍这些模型的核心贡献并总结了它们的发展趋势。
*注：本综述共涵盖 26 种主流模型，以上列举了其中具有代表性的 19 种，其余模型在架构或应用场景上各有侧重，共同推动了多模态技术的发展。
综合回顾了主要 MM-LLMs 在 18 个广泛使用的视觉语言评测集上的表现，并总结提炼出提升模型效果的重要训练方法。探讨了 MM-LLMs 未来发展的 5 大方向：
综上，该论文系统梳理了 MM-LLMs 的框架、模型、评估指标和未来研究方向，对其现状和发展趋势进行了全面而深入的总结，为相关领域的研究与进一步发展奠定了基础。
[1] Visual Instruction Tuning towards General-Purpose Multimodal Model: A Survey
https://arxiv.org/abs/2312.16602
[2] MM-LLMs: Recent Advances in MultiModal Large Language Models
https://arxiv.org/abs/2401.13601
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online