NVILA 是一款开源视觉语言模型，通过“先扩展后压缩”策略优化架构，显著降低训练与推理成本。其 8B 版本在图像和视频基准测试中表现媲美 GPT-4o mini，同时支持时间定位、机器人导航及医疗影像应用。文章详细介绍了 NVILA 的高效模型架构设计、基于 DeltaLoss 的数据集剪枝方法、FP8 混合精度训练加速以及针对边缘部署的量化技术，为高效能多模态模型的开发提供了系统化的解决方案。
视觉语言模型（VLMs）在处理和融合视觉与文本信息方面表现出了卓越的能力，推动了先进的视觉 - 语言交互和对话系统的发展。近年来，研究界在提高 VLMs 的准确性方面取得了巨大的进展，并拓展了它们在各个领域的应用，包括机器人技术、自动驾驶和医学影像。然而，提升其效率的研究却相对较少。
VLMs 在多个方面都是高成本的。
首先，训练 VLM 非常耗时。例如，训练一个最先进的 7B 参数 VLM 可能需要长达 400 个 GPU 天，更不用说更大的模型了。这为研究人员设立了巨大的进入壁垒。
其次，VLM 在应用于特定领域（例如医学影像）时，通常需要进行适应，但微调 VLM 的内存开销非常大。例如，完全微调一个 7B 参数的 VLM 可能需要超过 64GB 的 GPU 内存，远超大多数消费者级 GPU 的内存容量。
最后，VLM 常常被部署在计算资源有限的边缘应用中（如笔记本、机器人），因此在这些环境下部署 VLM 面临资源受限的问题。
解决这些挑战需要一个系统化的方案，以提高 VLM 在各个维度上的效率。
本文介绍了 NVILA，一组旨在优化效率和准确性的开源 VLM。基于 VILA，通过首先提升空间和时间分辨率，再对视觉 token 进行压缩，改进了其模型架构。
'扩展'保存了更多视觉输入的细节，提升了准确性的上限；而'压缩'则将视觉信息压缩为更少的 token，从而提高了计算效率。这种'先扩展再压缩'的策略使得 NVILA 能够在有效且高效的方式下处理高分辨率图像和长视频。此外，还进行了系统的研究，旨在优化 NVILA 在其整个生命周期中的效率，包括训练、微调和部署。
得益于这些创新，NVILA 在效率和准确性上都表现出色。
将训练成本降低了 4.5 倍，微调内存使用降低了 3.4 倍，预填充延迟减少了 1.6-2.2 倍，解码延迟减少了 1.2-2.8 倍；
NVILA 在多个图像和视频基准测试中与许多领先的开源 VLM 和专有 VLM 的准确性相当或更优；
NVILA 还支持新的功能，包括时间定位、机器人导航和医学影像等应用。
首先设计了 NVILA 的高效模型架构，具体方法是首先通过提高空间和时间分辨率，然后压缩视觉 token。接着，提出了一些策略，以提高 NVILA 在整个生命周期中的效率——从训练和微调到部署。除非另有说明，本节中的所有分析将基于 8B 模型。
我们在 VILA 的基础上构建了 NVILA。如图 4 所示，它是一个自回归的视觉语言模型（VLM），由三个组件组成：一个视觉编码器，用于从视觉输入（如图像、视频）中提取特征；一个映射器，用于对视觉和语言模态的嵌入进行对齐；以及一个 token 处理器，通常是一个大语言模型（LLM），它接受视觉和语言 token 作为输入，并输出语言 token。具体来说，NVILA 使用 SigLIP 作为其视觉编码器，使用两层 MLP 作为映射器，并使用不同大小的 Qwen2 作为其 token 处理器。
原始的 VILA 模型具有非常有限的空间和时间分辨率：例如，它将所有图像的尺寸调整为 448×448，无论原始图像的大小或纵横比如何，并且最多从视频中采样 14 帧。空间调整和时间采样都会导致信息的显著丢失，限制了模型有效处理更大图像和更长视频的能力。这一点可以在表 8 和表 9 中看到，VILA 在一些文本密集型和长视频基准测试中落后于领先的 VLM，尤其在这些基准上表现不佳。
本文提倡**'先扩展后压缩'** 的范式：首先提高空间/时间分辨率以提升准确性，然后通过压缩视觉 token 来提高效率。提高分辨率能够提高性能上限，但仅靠这一点会显著增加计算成本。例如，将分辨率加倍会将视觉 token 的数量加倍，从而使得训练和推理成本增加超过 2 倍，因为自注意力机制的计算复杂度是与 token 数量的平方成正比的。接下来，可以通过压缩空间/时间 token 来降低这一成本。压缩后的视觉 token 具有更高的信息密度，能够用更少的 token 来保留或甚至提高空间和时间细节。
对于空间扩展，直接提高视觉编码器的图像分辨率（例如，提升到 896×896）是非常自然的做法。虽然这样可以提高性能，但对所有图像应用统一的高分辨率将会效率低下，尤其是对于那些不需要太多细节的小图像。为了解决这个问题，我们应用了切片方法，该方法通过图像切片高效提取多尺度高分辨率特征。例如，假设有一个在 448x448 分辨率上预训练的视觉编码器，且输入图像大小不一，首先将图像调整为多个尺度（如 448²、896²、1344²），然后将每个尺度的图像切割成多个 448²的小块，每块单独由编码器处理。同一尺度的所有小块的特征图会拼接回该尺度的完整特征图。最后，来自不同尺度的特征图会被插值为相同的尺寸并在通道维度上进行拼接。
总是将图像调整为正方形，无论原始纵横比如何。这可能导致图像变形，尤其是对于那些很高或很宽的图像。为了解决这个问题，提出了 Dynamic-Resize，它自适应地处理不同纵横比的图像。Dynamic-Resize 遵循切片的方法，但在最大图像尺度上，动态调整图像尺寸，使其保持原始纵横比且能被 448²的切片整除。这一方法灵感来自于 InternVL 中的动态分辨率策略。经过切片处理后，来自不同尺度的特征图会插值至最大尺度并进行拼接。
配备 Dynamic-Resize 后，模型能够从图像中获取高分辨率的信息，在文本密集型的基准测试中，性能提高了最多 30%（见表 1）。因此，我们的目标转向压缩空间 token。VILA 发现，应用简单的 2×2 空间到通道（STC）重排方法可以在不牺牲准确性的情况下将 token 数量减少 4 倍。然而，进一步压缩会显著降低性能：例如，当减少最小切片的数量并将 STC 增大到 3×3 时，DocQA 任务上的准确性下降了近 10%。我们推测，更激进的压缩会使得映射器变得更难训练。为此，引入了一个额外的视觉编码器预训练阶段，联合调整视觉编码器和映射器。这有助于恢复大部分因空间 token 压缩而导致的准确性损失，在训练和推理过程中实现了 2.4 倍的加速。
对于空间 token 压缩，还有许多其他设计方案，例如 RT-1 中的 TokenLearner 和 MiniCPM-V 中的 Perceiver Resampler。然而，即便采用这些可学习的压缩方法，在相同的 token 压缩比下，它们的性能并没有超越简单的空间到通道设计，甚至在增加了额外的阶段 1.5 后也未能超过。因此，认为这更多是一个优化问题，超出了本文的讨论范围。
对于时间扩展，只是简单地增加从输入视频中均匀采样的帧数。参考之前的方法，通过额外的视频监督微调（SFT）来训练模型，以扩展其处理更多帧的能力。从后面表 9 可以看出，将帧数从 8 延伸到 32，可以使得模型在 Video-MME 基准测试上的准确性提高超过 5%。然而，这也会将视觉 token 的数量增加 4 倍。
类似于空间 token 压缩，将对这些视觉 token 进行压缩。由于视频中存在内在的时间连续性，采用了时间平均来进行压缩，首先将帧分组，然后对每组内的视觉 token 进行时间池化。这样可以减少时间冗余（因为连续的帧通常包含相似的信息），同时仍然保留重要的时空信息。从经验来看，将视觉 token 压缩 4 倍后，准确性下降是可以接受的。与原始基准相同 token 数的模型相比，扩展和压缩后的模型几乎没有增加成本，但准确性却大大提高。也使用这种方法进一步扩展了帧数和压缩比，从而在该基准测试中取得了最先进的 7B 模型（见后面表 9）。
尽管最先进的 VLM 具有令人印象深刻的能力，但训练这样一个 VLM 往往需要高昂的成本和大量的计算资源。本节探讨了系统算法共同设计，以实现高效的 VLM 训练。在算法方面，研究了一种新的无监督数据集剪枝方法来简化训练数据。在系统层面，探索了 FP8 混合精度加速。
为了提高模型的准确性，之前的研究不断从各种来源获取高质量的 SFT 数据集，并显示出在基准测试分数上的提升。然而，并非所有数据对模型的贡献相同，数据集的持续增长会导致大量冗余。在 NVILA 中，遵循'先扩展后压缩'的理念，首先增加我们的 SFT 数据集混合，然后尝试压缩数据集。然而，从各种来源选择高质量的示例是一个挑战。尽管已有一些关于视觉输入和仅文本输入的探索，但很少有研究解决了在 VLM 训练中这个问题，其中图像和文本在训练过程中是混合的。NVILA 的训练涉及超过 1 亿的数据，因此需要在保持准确性的同时修剪训练集。
受到最近知识蒸馏研究的启发，利用 DeltaLoss 来对训练集进行评分：
DeltaLoss = |P_large(y|x) - P_small(y|x)|
其中，D_i 是完整微调数据集的第 i 个子集，D' 是修剪后的训练集。P_large 和 P_small 是对答案 token 的输出概率。其主要动机是过滤掉那些过于简单或过于困难的样本。
详细说明： 如果两者都答对或都答错，则 DeltaLoss 趋近于 0。 当小模型答对而大模型答错时，则 DeltaLoss 为负值，表明这些示例可能会分散学习，最终被更强大的模型遗忘。 当小模型答错而大模型答对时，则 DeltaLoss 为正值，表明这些示例提供了强有力的监督，虽然对小模型来说具有挑战性，但对大模型而言是可学习的。
因此，我们可以对每个子数据集应用 DeltaLoss，并根据不同的比例修剪训练集。
为了评估数据修剪标准，将 DeltaLoss 与随机修剪基线进行比较，结果见表 3。对于随机修剪，数据是随机选择的，进行三次实验并报告平均值。对于聚类修剪，应用 k-means 聚类并使用 siglip 特征，在每个质心上均匀修剪数据。实验报告了在 10 个基准测试上的平均表现，重点展示了关键任务，以验证该方法的有效性。
测试了三个修剪阈值：10%、30% 和 50%，并发现 DeltaLoss 在所有情况下始终优于随机基线，特别是在 GQA 和 DocVQA 任务中，随机修剪显示出显著的性能下降，而 DeltaLoss 保持准确。注意到 50% 是一个相对安全的阈值，在该阈值下，平均得分保持竞争力，同时训练速度提高了 2 倍。因此，在后续实验中将修剪阈值设置为 50%。
FP16 和 BF16 已经成为模型训练的标准精度，因为它们能够加速计算且不会导致精度损失，这些精度在 NVIDIA GPU 上得到了原生支持。随着 NVIDIA Hopper 和 Blackwell 架构的问世，新的 GPU（如 H100 和 B200）现在原生支持 FP8，这种精度由于其在计算和内存效率上的潜力，已经成为一种有前景的精度标准。
许多研究者已经将 FP8 应用到大语言模型（LLM）的训练中。NVIDIA 的 Transformer Engine 在 FP8 精度下执行矩阵乘法（GEMM），从而加速了训练速度。FP8-LM 在此基础上进一步量化了梯度、权重主副本和一阶动量为 FP8，从而减少了通信开销和内存占用。COAT 进一步压缩了激活值和优化器的二阶动量，以提高内存效率，同时保持准确性。
本文借鉴了 COAT 中的 FP8 实现来加速 NVILA 的训练。LLM 和 VLM 训练工作负载之间的一个关键区别在于批次中序列长度的变化性。在 LLM 训练中，样本通常具有统一的长度，增加批次大小到某一程度之后，对训练吞吐量的影响最小。然而，在 VLM 训练中，样本的长度变化较大：视频样本可能需要数万个 token，图像样本可能只需要几百个，而纯文本样本则需要更少。因此，具有较少 token 的工作负载通常会被低效利用，可以通过增加批次大小来显著提升效率。如表 4 所示，将 FP8 应用于权重和激活后，可以将 NVILA 的批次大小从 4 增加到 16，获得 2 倍的加速。当启用梯度检查点时，量化激活变得不那么重要。相反，集成了 Liger 中的交叉熵内核，以减少由于 Qwen 的大词汇表大小带来的峰值内存使用。在这种情况下，FP8 训练仍然可以比 BF16 训练提供 1.2 倍的加速。
一旦基础的 VLM 模型训练完成，就需要进行领域特定的微调，以适应特定的任务或领域。虽然微调有效地提高了领域特定的词汇和概念，但传统的参数高效微调方法主要集中在 LLM 和文本相关任务上，而如何最好地微调 VLM 仍然是一个较少探讨的问题。
在 NVILA 中，我们发现： ViT 和 LLM 的学习率应该设置得不同； 微调时，应根据不同的下游任务选择微调部分。
当使用参数高效微调（PEFT）方法同时微调视觉编码器（ViT）和语言模型（LLM）时，观察到 ViT 部分的学习率应比 LLM 部分小 5-50 倍。另一方面，还观察到，使用 Layernorm 微调视觉编码器可以与 LoRA 实现类似的性能（表 5），同时更加高效：与应用 LoRA 的视觉编码器相比，这种方法可以减少 25% 的训练时间。通过精心配置，NVILA 可以在 24GB 的内存下快速微调到各种下游任务，并保持与原始性能相当。
VLM 通常集成到计算预算紧张的边缘应用中，如机器人。在这一部分，将介绍专门的推理引擎及其量化技术，以加速 NVILA 的部署。
我们开发了一个专门的推理引擎，并结合量化技术来高效地部署 NVILA。推理过程分为两个阶段：预填充和解码。在计算受限的预填充阶段，首先应用 token 压缩技术来减少 LLM 主干的推理工作量，之后，视觉模块成为主要瓶颈，占据了超过 90% 的预填充延迟。为了解决这个问题，对视觉模块实施了 W8A8 量化，以减少 NVILA 在这一计算瓶颈阶段的首次 token 时间（TTFT）。对于内存受限的解码阶段，采用 AWQ 对 LLM 主干进行 W4A16 量化以加速。进一步优化了原始的 AWQ 实现，通过将 FP16 累加引入 W4A16 的 GEMM 内核，从而在不损失精度的情况下，实现了总共 1.7 倍的内核加速。后面图 6 中附上了详细的比较。
遵循五阶段 pipeline 来训练 NVILA：（1）映射器初始化，（2）视觉编码器预训练，（3）token 处理器预训练，（4）图像指令调优，以及（5）视频指令调优。其中，第 1、3 和 4 阶段也包含在 VILA 的训练中。额外的第 2 阶段用于恢复由于空间 token 压缩造成的准确度损失（如表 1 所示），第 5 阶段有助于扩展模型的长视频理解能力。在表 7 中提供了详细的训练配置，数据配置则在表 A1 中给出。
实现基于 PyTorch 2.3.0 和 Transformers 4.46.0。使用 DeepSpeed 0.9.5 将大型模型分片到多个设备上，并使用梯度检查点技术来减少内存使用。采用 FlashAttention-2 来加速 LLM 和视觉编码器的训练。还实现了功能保持的动态序列打包技术，以融合长度不同的样本，从而实现约 30% 的加速。使用 128 个 NVIDIA H100 GPU 训练所有模型，跨所有阶段的全局批次大小为 2048。所有优化都使用 AdamW 进行，并且不使用权重衰减。采用余弦学习率衰减调度，并在调度的前 3% 使用线性预热。各个阶段的初始学习率在表 7 中有详细说明。
如表 8 所示，在多个图像基准测试上进行了全面评估，包括：AI2D、ChartQA、DocVQA、InfographicVQA、MathVista、MMMU（zero-shot CoT）、RealworldQA、SEED-Bench、TextVQA 和 VQAv2。
NVILA 在每个规模类别中与顶尖的开源模型（如 Qwen2-VL、InternVL 和 Pixtral）表现相当。在一般的视觉问答任务（ChartQA、DocVQA、InfoVQA、TextVQA、VQAv2、Seed）中，NVILA-8B 和 NVILA-15B 在与专有模型（GPT-4o、Gemini）的比较中，取得了竞争力甚至更好的结果。
在与科学相关的基准（如 AI2D）上，NVILA-8B 在开源模型中达到了最先进的性能。将规模扩展到 15B 时，NVILA 的表现与专有模型相竞争。
此外，在推理和知识基准（如 MMMU、RealworldQA 和 MathVista）中，随着模型规模的增大，成绩进一步提高。对于需要 OCR 功能的基准任务（如 TextVQA、AI2D、ChartQA、DocVQA、InfoVQA），8B 模型同样表现优秀。还在图 2-3 中展示了一些定性示例，以展示 NVILA 模型在 OCR、推理和多图像能力方面的表现。
在一系列视频理解基准上评估了模型的性能，涵盖了从几秒钟到一个小时长的视频。下表 9 展示了 NVILA 与基准模型的比较结果。NVILA 具备长上下文处理能力，能够处理多达 256 帧。通过'先扩展再压缩'的设计，NVILA-8B 在所有基准测试中都取得了令人印象深刻的结果，创造了新的最先进表现。值得注意的是，NVILA 仅凭 8B 参数就达到了与 GPT-4o mini 相当的性能，并且超越了许多更大规模的模型。
NVILA 在图像和视频基准测试上表现出色，同时通过'先扩展再压缩'的方法保持了高效性。在架构上，首先将图像扩展到原始分辨率（1 到 12 倍更多的 patches），然后将 token 压缩 2.4 倍，从而在稍多的 token 数下实现更高的准确度。数据集方面，制作了一个多样的 1000 万样本数据集，通过 DeltaLoss 压缩并修剪为一个高质量的 500 万子集，始终优于 LlaVa-Onevision，该模型在超过 800 万数据上进行训练。此外，集成了 FP8 来加速训练，优化了微调的学习率，并采用 W8A8 格式来提升延迟和吞吐量。这些全栈优化使得 NVILA 在使用较少资源的情况下训练，同时实现更好的性能、更少的内存占用和更快的推理速度。
将 NVILA 的推理性能与 Qwen2-VL 进行了对比，如下图 6 所示。为了公平比较，两个模型都通过采样 64 帧处理视频输入，所有实验都在单个 NVIDIA RTX 4090 GPU 上进行。Qwen2-VL 被量化为 W4A16，并通过 vLLM 部署，这是一个具有最先进推理速度的 LLM/VLM 服务引擎。对于 NVILA，将 LLM 主干量化为 W4A16，视觉模块量化为 W8A8。通过我们的专用推理引擎，NVILA 在预填充阶段获得了最高 2.2 倍的加速，在解码吞吐量上比 Qwen2-VL 高出最多 2.8 倍。
继 LITA 之后，在 NVILA 中也加入了对时间定位的支持。我们添加了离散时间 token 来表示视频中的时间戳，并使用平滑的交叉熵损失来训练模型。从表 10 中的结果可以清晰地看出，NVILA 在所有度量上显著优于所有基准方法。
NVILA 可以作为视觉 - 语言导航（VLN）中机器人智能体的强大基础，并支持在非服务器设备上的实时部署。在每个时间步 t，代理接收语言指令和视频观测，规划下一步动作，并过渡到下一个状态 t+1，在该状态下接收新的观测。NVILA 高效而灵活地处理多帧输入，使得历史观测和当前观测能够无缝整合到 VLM 中。NaVILA 框架引入了定制的导航提示，并使用来自仿真器的特定导航 SFT 数据对 NVILA 进行了微调。表 11 中的定量结果显示，NVILA 的简洁设计在 VLN-CE 任务中达到了最先进的结果。基于 NVILA-8B 的导航模型在单个笔记本 GPU 上的实时部署视觉结果展示在下图 7 中。整个系统可以无缝运行，采用端到端（相机→GPU→动作）pipeline，运行频率为 1Hz。
NVILA 在医疗领域也具有变革性的潜力。这种集成有望推动诊断准确性、临床决策和数据解读的进步。
NVILA-M3 框架通过整合多个针对特定医疗任务的领域专家模型，提出了一种新的方法，例如图像分割和分类。这些专家模型旨在提取和解释一般 VLM 难以辨识的复杂特征。通过将这些专业模型与视觉 - 语言学习范式结合，NVILA-M3 实现了增强的性能，促进了视觉输入与其文本注释之间细微关系的学习。这种集成不仅改善了任务特定的结果，还为在医疗领域开发更强大、更加情境感知的 VLM 奠定了基础。
NVILA-M3 表明，通过使用专家模型，相比现有的最先进技术，可以实现 9% 的总体提升，表 12 中展示了一些关键结果。这凸显了利用领域专长来弥合通用 AI 能力与专门应用需求之间差距的重要性，展示了 VLM 在精确性和特异性至关重要的领域中革命化的潜力。
本文介绍了 NVILA，一个旨在实现效率与准确性之间最佳平衡的开放视觉 - 语言模型（VLM）家族。通过采用'先扩展后压缩'的范式，NVILA 能够高效地处理高分辨率图像和长视频，同时保持高准确性。还在整个生命周期中系统地优化了其效率，从训练到微调再到推理。NVILA 提供的性能与当前领先的 VLM 相当，甚至超越它们，同时在资源使用上显著更为高效。此外，NVILA 为时间定位、机器人导航和医学影像等应用开辟了新的可能性。我们将很快发布我们的模型。希望 NVILA 能够帮助研究人员和开发者充分挖掘其在各个应用和研究领域的潜力。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
