本文介绍了 MiniGPT-4、Qwen-VL、InternVL、DeepSeek-VL 及 Qwen2-VL 等多模态大模型的技术架构与训练细节。涵盖模型结构（如 Vision Encoder、LLM、Adapter）、训练阶段（预训练、微调）、数据构建策略及分辨率处理方案。重点分析了各模型在图文对齐、细粒度理解、动态分辨率支持等方面的改进与差异，为开发者提供多模态技术选型参考。
本文主要包括 Qwen-VL 系列，MiniGPT-4，InternVL 和 DeepSeek-VL，大致上按时间顺序排列。
论文：《MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models》
时间：2023 年 4 月
MiniGPT-4 是对 GPT-4 的多模态能力的一次探索和尝试。
先说结论：
固定 vision encoder 和 LLM，仅训练对齐部分，就能获得不错的效果
仅使用 image caption 进行对齐并不能获得很好的效果，而用小部分的 detailed image description pairs 进行 further finetuning 就能打破这个限制
MiniGPT-4 表现出了和 GPT-4 类似的能力，比如生成复杂的 image descriptions，从手写文本生成网页，还有 GPT-4 没有的能力，比如从食物照片生成详细的烹饪食谱，根据图像编写故事或诗歌，为图像中的产品编写广告等
MiniGPT-4 的模型结构如下：
[图片]
LLM 使用的是 Vicuna，而图像部分和 BLIP-2 相同，采用 ViT + Q-Former 的方式，对齐部分使用的是简单的 linear layer。
其中 image encoder（和 Q-Former）和 LLM 的参数都保持固定，只训练 linear layer，因此训练很快。
MiniGPT-4 采用两阶段的训练方式。
1、First pretraining stage
在这一阶段，模型的目的是从大量对齐的 image-text pair 获取 vision-language knowledge。使用的数据集有 Conceptual Caption、SBU 和 LAION，batch size = 256，训了 2w 步左右。
第一阶段完成后，MiniGPT-4 有一定的图文响应能力，但是生成并不流畅。
2、Second-stage finetuning
为了优化效果，需要做第二阶段的对齐。为此 MiniGPT-4 专门构建了一个数据集。
首先，让第一阶段获得的模型，基于下面的 prompt 生成图像描述：
###Human: <Img><ImageFeature></Img>Describe this image in detail. Give as many details as possible. Say everything you see. ###Assistant:
生成的结果里包含了噪声或者不连贯的内容，因此使用 ChatGPT 来修复这些问题。
给 ChatGPT 的 prompt 如下：
Fix the error in the given paragraph. Remove any repeating sentences, meaningless characters, not English sentences, and so on. Remove unnecessary repetition. Rewrite any incomplete sentences. Return directly the results without explanation. Return directly the input paragraph if it is already correct without explanation.
获得结果之后，再利用一些人工制定的规则进行筛选，比如包含'I'm sorry I made a mistake…', 或者 'I apologize for that …'的回复。
最后得到了 3500 条高质量的数据，用于第二阶段的训练。
第二阶段训练使用的模板如下：
###Human: <Img><ImageFeature></Img><Instruction>###Assistant:
其中 Instruction 是从预定义的指令集中随机采样的指令。
一个细节是，这个 prompt 的损失不算入训练中。
第二阶段由于数据非常少，使用单个 A100 只要 7 分钟就训练完了。
下面是最终模型的生成样本：
[图片]
论文：《Qwen-VL: A Versatile Vision-Language Model for Understanding, Localization, Text Reading, and Beyond》
时间：2023 年 8 月
机构：阿里
Qwen-VL 有几个特点：
支持随意交错的图文输入
支持多语言，多种图文任务
支持图片细粒度的理解
[图片]
[图片]
Qwen-VL 的模型包含 3 个部分：
LLM：用 Qwen-7B 模型初始化的
Vision Encoder：使用来自 Openclip 的 ViT-bigG（patch size = 14）初始化；训练和推理的时候图像会 resize 为固定大小
Position-aware Vision-Language Adapter：adapter 一方面用于把图像 representation 压缩到固定的大小（和 Flamingo 中的类似），一方面用于对齐图文特征；adapter 是一个随机初始化的单层 cross-attention；
3 个部分的大小：
[图片]
adapter 要使用多长的 token 压缩图像特征是个超参，文中实验了不同的设置（64/144/256/400），结果如下图：
[图片]
为了区分图像和文本输入，会使用两个特殊的 token，<|vision_start|> 和 <|vision_end|>，放在图像特征序列的开头结尾。
为了增强模型 fine-grained visual understanding 和 grounding 的能力，训练数据中还会涉及 region description 和 detection 等，这些任务需要模型准确理解并生成对应的描述。那么对于输入中的 bounding box（直接以文本的形式输入），会添加下面两个特殊符号： 和 。
另外，还会把 bounding box 对应的文本段也用特殊 token 框起来
Additionally, to appropriately associate bounding boxes with their corresponding descriptive words or sentences, another set of special tokens ( and ) is introduced, marking the content referred to by the bounding box.
Qwen-VL 的训练分为三个阶段：两个预训练阶段和指令微调：
[图片]
1、stage1：预训练
这一阶段使用从网上爬取的大规模图文对数据。原始数据包含 5B 条图文对，在经过清理后保留了其中的 1.4B，其中 77% 是英文数据，23% 是中文数据。具体的来源和比例如下：
[图片]
这一阶段的训练冻结了 LLM 的参数，训练 vision encoder 和 VL adapter
输入图像都被 resize 到 224×224
训练的 batch size = 30720，step = 50000
2、stage2：多任务预训练
这一阶段引入了高质量和细粒度的 fine-grained VL annotation data，包含交错的图文数据，使用的分辨率也更大（224×224 -> 448×448）。所用的任务数据如下表：
[图片]
这一阶段模型所有参数都参与训练。
3、stage3：SFT
这一阶段进行微调获得 Qwen-VL-Chat。数据上，除了使用来自 LLM self-instruction 的数据，还通过人工标注、模型生成获取一批额外的数据，以提升模型 localization 和 multi-image comprehension 的能力。
训练的时候，除了多模态数据，还混合一些纯文本的对话数据，以确保模型对话能力的泛化性能。
最后总共使用了 350k 的数据。这一阶段 vision encoder 的参数不参与训练，只训练 LLM 和 VL adapter。
论文：《InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks》
时间：2023 年 12 月
InternVL 认为之前的 VLM 有几个问题：
LLM 和 vision encoder 在规模上有比较大的差异，vision encoder 比较小，可能对 LLM 的容量使用不足
用于对齐部分也比较小，且一般是随机初始化，因此对齐效果不够好
针对这些问题，InternVL 给出改进的版本：
增大 vision encoder
增大对齐层，并用预训练模型初始化
progressive image-text alignment，融合对比学习和生成学习
[图片]
InternVL 模型架构上的主要工作在 Vision Encoder 和用于对齐的 Language Middleware。
1、Vision Encoder
InternVL 通过超参搜索的实验，设计出了 InternViT-6B。这个模型在 100M 的 LAION-en 上训练。
[图片]
2、Language Middleware
之前用于对齐图文特征的模型有 Q-Former，或者简单的 MLP 层。这里使用基于 LLaMA 的模型，QLLaMA：在预训练好的 LLaMA 基础上，增加了 96 个随机初始化的 query（用于压缩图像 representation），以及一个 1B 参数的随机初始化的 cross-attention 层。
这样的中间件由于规模足够大，在对齐的时候效果更好，而且具有一定的 zero-shot 能力。
InternVL 的对齐训练包括三个阶段：
[图片]
1、stage1：Vision-Language Contrastive Training
这一阶段把 InternViT-6B 和 LLaMA-7B 进行对齐，这一阶段所有参数都是可训练的。
所用的数据包括 LAION-en、LAIONmulti、LAION-COCO、COYO、Wukong 等，总共有 6B 个图文对数据，清洗后留下 5B 左右。
2、stage2：Vision-Language Generative Training
QLLaMA 集成第一阶段训练得到的 LLaMA-7B 参数，保持 InternViT-6B 和 QLLaMA 的参数冻结，使用进一步过滤后剩下的 1B 高质量图文数据进行训练。
这一阶段的损失函数由三部分组成：
image-text contrastive (ITC) loss
mage-text matching (ITM) loss
mage-grounded text generation (ITG) loss
stage1 和 stage2 所用数据如下：
[图片]
3、stage3：SFT
这一阶段把 vision encoder 和 QLLaMA 和现成的 LLM，Vicuna 用 MLP 连接在一起。训练的时候使用了 4M 条数据：
[图片]
对于数据中不是对话的部分，参考 LLaVA-1.5 的方式进行转换。
训练的时候可以仅训练 MLP 层，由于 LLM 和 QLLaMA 的 feature space 比较相似，因此这里即使冻结 LLM，效果也很好。
通过灵活使用 InternVL 的不同组件，可以完成各种任务：
[图片]
InternViT-6B 可以作为视觉任务的 backbone，进行图像分类或者 dense prediction task
对于 contrastive task，有两种推理模式，InternVL-C 和 InternVL-G
对于生成任务，QLLaMA 天然具有比较强的 caption 能力
而对于多模态对话，也有 InternVL-Chat(w/o QLLaMA) 和 InternVL-Chat(w/ QLLaMA) 两种模式
论文：《DeepSeek-VL: Towards Real-World Vision-Language Understanding》
时间：2024 年 3 月
DeepSeek-VL 认为这之前的 VLM 普遍有几个问题：
将比较多的资源放在 SFT 阶段，不够重视通用知识学习的预训练阶段
微调的时候用了精挑细选的数据集，在评测上效果不错，但是和实际体验不符
使用预训练的 ViT 模型，分辨率不足
在图文训练后，模型的语言能力下降
数据依然是重中之重，DeepSeek-VL 做了比较精细的工作。预训练和微调阶段的数据详细分布如下：
[图片]
[图片]
首先可以看到有一个特点，那就是 text-only 的数据集比重相对比较高，就是为了保持 VLM 的语言能力而增加的文本数据。
另外就是任务和类型的多样性，有交错的图文数据，图表数据，OCR 数据等。其中 Web Code 是 DeepSeek-VL 专门构建的，为了让模型能从图片构建代码，利用 Websight 和 MATCHA 等工具获取了 1.1M 的数据。
SFT 数据的三级分类体系如下：
[图片]
SFT 数据分布上，多样化的任务使得模型既能获得较好的评测效果，在使用时又能有较好的体验。
模型包括三个部分。
1、Hybrid Vision Encoder
vision encoder 使用 SigLIP-L，但是仅使用 SigLIP 存在一些问题。SigLIP 和 CLIP 这样的训练方式主要是为图像语义服务的，会把不同的图像 encoder 成相近的内容，原因是'CLIP-blind pairs'（《Eyes wide shut? exploring the visual shortcomings of multimodal llms》）。再加上这些模型的输入分辨率都有限（大部分 224×224、336×336 等），这些 vision encoder 就难以捕捉细粒度的 low-level 的特征，干不了比较精细的活。
因此有些工作开始使用 additional vision-only self-supervised encoders，增强视觉编码的能力。受这个做法启发，DeepSeek-VL 也使用额外的 SAM-B 模型来处理 low-level 的视觉信息，输入的分辨率为 1024×1024。接收 384×384 输入的 SigLIP 模型，和接收 1024×1024 输入的 SAM-B 就构成了 hybrid vision encoder，能同时保留语义信息和细节特征。
2、Vision-Language Adaptor
使用 two-layer hybrid MLP 连接 vision encoder 和 LLM。高分辨率的特征和低分辨率的特征分别由单层的 MLP 处理，之后 concat 在一起。
3、Language Model
使用 DeepSeek LLM。
DeepSeek-VL 的训练分为三个阶段：
[图片]
Stage 1: Training Vision-Language Adaptor
这一阶段 vision encoder 和 LLM 保持冻结，训练 MLP 层。数据包括从 ShareGPT4V 获取的 1.25M 数据，和 2.5M 文档 OCR 数据。
一个问题是，在只训练 MLP 的情况下，是否存在 scaling law？即增大训练数据量有没有收益？这里做了实验，结果表明增大训练量没有明显收益，甚至效果会变差：
[图片]
Stage 2: Joint Vision-Language pretraining
这一阶段只冻结 vision encoder。
这里 DeepSeek-VL 验证了不同多模态和纯文本数据下模型效果的变化：
[图片]
在只使用多模态数据的情况下，模型的语言性能严重下降，这是因为多模态数据中的语料比较简单，复杂性不足，并且多模态能力和语言能力之间也存在竞争关系，导致语言能力出现灾难性遗忘。
上面的实验还能看到，增加文本数据后，多模态能力不会出现明显的损失。结合一系列观察，选择了 7（语言）:3（多模态）的数据比例。
这一阶段的训练成本比第一阶段高很多，不过好消息是在小模型（1.3B）上的实验结论很大部分都能迁移到更大的模型上（7B）。
Stage 3: Supervised Fine-tuning
这一阶段，由于内存有限，SAM-B 保持了冻结。
各个阶段训练的参数设置如下：
[图片]
论文：《How Far Are We to GPT-4V? Closing the Gap to Commercial Multimodal Models with Open-Source Suites》
时间：2024 年 4 月
InternVL 1.5 一个特点是最大能够支持到 4k 分辨率的输入。
[图片]
InternVL 1.5 整体的架构如下，和之前的很多工作一样，采用的是 ViT-MLP-LLM 配置，使用随机初始化的 MLP 层将预训练过的 InternViT-6B 和预训练过的 InternLM2-20B 连接在一起：
[图片]
首先，InternVL 1.5 在 InternVL 基础上升级了 InternViT-6B。
（1）InternViT-6B-448px-V1.2
首先，研究人员发现倒数第四层的 feature 在多模态任务上效果最好，因此直接丢弃掉最后三层，InternViT-6B 从 48 层降为 45 层。然后把 InternViT-6B 的分辨率提升到 448×448，并把它和 Nous-Hermes-2-Yi-34B 通过 MLP 连接，使用 image captioning 和 OCR 数据进行训练，获得 InternViT-6B-448px-V1.2。
（2）InternViT-6B-448px-V1.5
在 InternViT-6B-448px-V1.2 基础上，把分辨率从固定的 448×448，扩展为动态的 448×448。怎么扩展的呢？这里面有一个 dynamic resolution 的策略，在训练的时候，会根据输入图像大小切分成 112 个 448×448 的块，而在推理的时候则把块的范围扩大到 140 个，这样使得模型最大可以处理 4k 分辨率的输入。
对不同图像的大小，会从一组（35 个）预定义的长宽比中找到最佳匹配来切分，使得图像不会被过分变形，比如一个 800×1300 的图像将被调整为 896×1344。然后，调整后的图像被分成 448×448 像素的块：
[图片]
不过这样一来输入 token 的数量可能就有点多，因此会使用一个叫 pixel shuffle 的操作来降低 token 的数量。pixel shuffle 是图像超分里常用的操作，用于提高分辨率，不过这里改了 factor，相当于 down-sample 了。
除了图像本身切分出来的块，还会增加一个缩略图放在最后面，以提供全局信息。
InternVL 1.5 在预训练和微调阶段所用数据如下：
[图片]
在微调阶段也加入了纯文本数据。
在预训练阶段，InternViT-6B 和 MLP 进行优化，而 LLM 冻结；在微调阶段则所有参数参与训练。
论文：《Qwen2-VL: Enhancing Vision-Language Model's Perception of theWorld at Any Resolution》
时间：2024 年 9 月
机构：阿里
Qwen2-VL 的内容还是比较多的，这里先简单看下关键点。Qwen2-VL 有 2B、8B、72B 三种规模，支持动态分辨率，支持视频（20 分钟以上）图文模态以及多语言的多种任务。
[图片]
三个规模的模型的描述如下：
[图片]
可以看到各种规模的 LLM 下，都是用相同大小的 vision encoder，这样保证 ViT 的 computation load 能够恒定。（估计是因为处理长视频的情况会对 ViT 的速度造成挑战）
Qwen2-VL 具体的模型架构和第一代 Qwen-VL 保持一致：
[图片]
在这个大框架基础下，有几个关键改进点。
1、Naive Dynamic Resolution
采用 Navit（《Patch n'pack: Navit, a vision transformer for any aspect ratio and resolution》）动态分辨率的做法，来支持各种分辨率的输入。为了支持动态分辨率，这里把 ViT 的绝对位置编码换成了苏神在 https://www.spaces.ac.cn/archives/8397 提出的 2D-RoPE。
为了减少图像的 token，在 ViT 后会用一个 MLP 把相邻的 2×2 的 token 压缩成单个 token，并在前后加上两个特殊 token：<|vision_start|> 和 <|vision_end|>。
2、Multimodal Rotary Position Embedding (M-RoPE)
M-RoPE 把原始的 rotary embedding 拆解成三个分量：temporal、height 和 width。处理图像时，每个 token 的时间 embedding 保持不变；而对于视频每帧的 temporal id 则会递增。
[图片]
3、Unified Image and Video Understanding
Qwen2-VL 对视频输入以每秒两帧的频率进行采样，并使用 3D 卷积来处理视频输入。为了在处理视频和图像时保持一致，图像在输入时会被视为两个一样的视频帧。
为了保持效率，会动态调整视频帧的分辨率，使得每个输入视频的 token 数限制在 16384 以内。
Qwen2-VL 的训练和一代 Qwen-VL 保持一致：
第一阶段训练 ViT
第二阶段全部训练
第三阶段冻结 ViT
整个训练过程包含 1.4T token，训练过程中只 BP 文本的 loss。
数据上，会使用<|vision_start|>和<|vision_end|>标识视觉内容，帮助模型区分视觉信息和文本信息。
对话数据使用 ChatML 的格式：
[图片]
[图片]
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online