基本概念
多模态大型语言模型（Multimodal Large Language Models, MLLMs）是人工智能领域的前沿技术，旨在设计能够理解和生成跨越多种形式数据输入（如文本、图像、音频等）内容的模型。传统的 LLM 仅处理文本序列，而 MLLM 通过引入视觉编码器等技术，实现了跨模态的信息融合与交互。
核心能力
- 链接文本和视觉模态：MLLMs 能够整合文本和视觉数据源的信息。模型可以处理并理解结合了书面语言和视觉元素（如图片、视频或图表）的内容，实现图文互译。
- 提供基于对话的界面：MLLMs 可以进行多轮交互，对文本输入（如问题或提示）做出响应，并提供结合文本和图像的相关回复。这使得模型能以自然直观的方式与用户进行沟通。
- 提供指令遵循的能力：MLLMs 有潜力理解并遵循通过文本提供的复杂指令，并可能通过视觉上下文进行增强。这使得它们能够执行需要理解一系列步骤或程序的任务，例如根据图片描述操作步骤。
关键技术分析
对最新基于视觉的 MLLMs 进行全面分析，主要涉及以下几个维度：
- 架构选择（Architectural choices）：这包括处理多模态数据的神经网络架构的设计。现代的架构通常涉及调整以适应文本和视觉信息独特方面的基于 Transformer 的模型。常见的做法是将视觉特征投影到 LLM 的嵌入空间。
- 多模态对齐策略（Multimodal alignment strategies）：有效 MLLMs 的核心组成部分是它们能够准确地对齐文本数据和视觉数据，确保模型理解两种模态中元素之间的关系。这通常通过对比学习（Contrastive Learning）来实现。
- 训练技术（Training techniques）：训练 MLLMs 的技术非常复杂，可能包括带有标记的多模态数据集的有监督学习、无监督学习，或是如对比学习等方法，以区分多模态输入之间的细微差别。
- 视觉定位（Visual grounding）：这是模型将抽象文本概念与具体视觉表示联系起来的能力。定位确保模型在谈论一个对象时理解定义该对象的视觉特征，常用于目标检测或区域描述任务。
- 图像生成和编辑（Image generation and editing）：模型不仅能理解和讨论图像，还能生成或修改图像。这可以包括根据文本描述创建新图像或根据文本指令更改现有图像。
- 视觉理解（Visual understanding）：对视觉方面的全面理解涉及识别对象、其属性、关系以及整个上下文。这种能力模仿人类的视觉理解能力，使模型能够解释图像或视频中的复杂场景。
- 特定领域应用（Domain-specific applications）：应用于特定领域或行业的 MLLMs 从接受域特定数据的训练中受益。应用可以包括医学图像分析，模型通过结合医学专业的文本形式和来自扫描或 X 射线的视觉数据来帮助诊断。
如何赋予 LLM 多模态能力
大型语言模型（LLM）通过对海量的文本数据进行学习，已经在多种任务上展现出了显著的能力。为了赋予其多模态能力，通常需要引入外部视觉模块并进行特定的训练范式调整。
基础组件架构
任何多模态大型语言模型（MLLM）至少包含三个关键组成部分：
- LLM 基座：作为与用户交互界面的核心，负责语言的理解与生成。通常选择开源且权重可访问的模型家族，如 LLaMA 系列。这些模型完全基于公开数据进行训练，有助于确保模型训练的透明性和可重现性。LLaMA 家族包含不同大小的模型版本，以适应不同的使用场景。
- 视觉编码器（Vision Encoder）：负责将图像数据转换为模型可处理的形式。常用的编码器包括 CLIP 的 Vision Transformer (ViT) 部分，或者专门的图像分类网络。它的作用是将像素信息映射为高维特征向量。
- 适配器模块（Adapter/Projector）：用于将视觉信息转换或融合入语言处理流程中。由于视觉编码器的输出维度与 LLM 的输入嵌入维度不一致，需要一个连接层（如 MLP 或 Q-Former）来进行投影和对齐。
关键技术方法
1. 上下文学习与指令微调
- 上下文学习（In-context Learning）：Brown 等人（2020 年）的研究发现，可以在提示（prompt）前增加一些示例来进行学习。Flamingo (2022) 是首个在视觉 - 语言领域大规模探索上下文学习的模型。它通过冻结大部分参数，仅在特定位置插入视觉块，利用少量示例来改善对随后信息的理解和预测。
