本文评估了AWQ INT4量化技术在10个多模态模型上的表现，涵盖VILA、NVILA等主流视觉语言模型。测试包含20项多模态任务基准，结果显示量化后平均精度损失小于1%，推理速度在RTX 4090上提升2.7至3.1倍。此外，INT4量化显著降低内存占用，使大模型能在Jetson Orin等边缘设备部署。文章还介绍了AWQ激活感知权重量化原理及具体部署流程，为开发者提供性能优化参考。
在大型语言模型和视觉语言模型日益普及的今天，AWQ（Activation-aware Weight Quantization）技术为模型压缩与加速提供了革命性解决方案。本文深入分析LLM-AWQ在10个INT4量化模型上的20项多模态任务基准测试结果，为开发者和研究人员提供全面的性能评估指南。
AWQ是一种激活感知权重量化技术，专门为大型语言模型和视觉语言模型设计。与传统的RTN量化相比，AWQ通过识别并保护关键权重，在INT4量化下实现了精度与效率的完美平衡。在awq/kernels/quantization/中，实现高效的CUDA内核，支持W4A16（4位权重、16位激活）量化，显著降低了模型的内存占用和计算需求。
上图展示了AWQ的核心创新：通过激活感知的权重缩放策略，将INT3量化的困惑度从43.2降低到13.0，同时保持良好的硬件效率。这种技术在tinychat/modules/fused_attn.py和tinychat/modules/fused_vision_attn.py中得到了高效实现。
评估涵盖了10个主流视觉语言模型，包括VILA-1.5系列（3B、8B、13B、40B）、NVILA-8B以及LLaVA等模型。测试任务包括20个不同的视觉语言理解基准：
| 模型 | VQA-v2 | GQA | VizWiz | ScienceQA | TextVQA | POPE | MME | MMBench | MMBench-CN | SEED |
|---|---|---|---|---|---|---|---|---|---|---|
| VILA-1.5-3B FP16 | 80.4 | 61.5 | 53.5 | 69.0 | 60.4 | 85.9 | 1442.4 | 63.4 | 52.7 | 60.9 |
| VILA-1.5-3B AWQ-INT4 | 80.0 | 61.1 | 53.8 | 67.8 | 60.4 | 85.9 | 1437.3 | 63.3 | 51.4 | 59.8 |
从数据可以看出，3B模型在INT4量化后性能损失极小，VQA-v2仅下降0.4个百分点，GQA下降0.4个百分点，而VizWiz任务甚至提升了0.3个百分点！这说明AWQ量化对小型模型同样友好。
对于更大的8B、13B和40B模型，AWQ量化展现了更强的稳定性：
VILA-1.5-40B模型表现：
性能损失控制在0.2-0.5个百分点内，这对于40B参数的巨大模型来说几乎是微不足道的精度损失！
NVILA作为最新的视觉语言模型，在AWQ量化后表现同样出色：
| 模型 | AI2D | ChartQA | DocVQA | MMMU_val | SEED | TextVQA | VideoMME |
|---|---|---|---|---|---|---|---|
| NVILA-8B FP16 | 91.0 | 84.8 | 91.7 | 50.7 | 76.3 | 78.1 | 63.9 |
| NVILA-8B AWQ-INT4 | 90.9 | 83.3 | 89.2 | 49.3 | 76.2 | 78.2 | 62.1 |
在图表理解（AI2D）任务上，量化后的模型保持了90.9%的准确率，仅比FP16下降0.1个百分点！
在RTX 4090上，AWQ量化带来了显著的推理加速：
| 模型 | FP16延迟(ms) | INT4延迟(ms) | 加速比 |
|---|---|---|---|
| LLaMA-3-8B | 17.07 | 6.39 | 2.69x |
| VILA-7B | 17.09 | 5.95 | 2.87x |
| NVILA-8B | 16.12 | 5.97 | 2.70x |
在资源受限的Jetson Orin平台上，AWQ量化同样表现出色：
| 模型 | FP16延迟(ms) | INT4延迟(ms) | 加速比 |
|---|---|---|---|
| LLaMA-3-8B | 96.00 | 32.53 | 2.95x |
| VILA-7B | 86.95 | 28.09 | 3.10x |
| VILA-13B | OOM | 57.14 | -- |
值得注意的是，VILA-13B模型在FP16精度下因内存不足无法运行，而INT4量化版本可以顺利在Orin上部署！
NVILA模型支持多图像输入处理，在气候变化对比、多场景分析等任务中表现出色。AWQ量化确保了多图像处理时的性能稳定性，为复杂的视觉推理任务提供了高效解决方案。
VILA-1.5-13B AWQ-INT4模型能够准确识别并描述艺术作品："这是文森特·梵高的《向日葵》油画，采用后印象派风格，以明亮的黄色调为主，展现了向日葵的生机与活力。"
模型能够精确识别城市地标："这是纽约的帝国大厦，一座标志性的摩天大楼，采用装饰艺术风格设计，是纽约市最著名的建筑之一。"
在动态场景理解中，模型展现出优秀的推理能力："一群麋鹿正在横穿公路，前方有白色汽车行驶，存在交通安全风险，建议驾驶员减速慢行。"
在awq/quantize/quantizer.py中，实现完整的AWQ量化流程：
tinychat/models/llava_llama.py和tinychat/models/vila_llama.py实现了视觉编码器与语言模型的深度融合，支持：
# 克隆仓库
git clone https://github.com/mit-han-lab/llm-awq
cd llm-awq
# 安装依赖
pip install -e .
# 量化视觉语言模型
python -m awq.entry --model_path /path/to/vila-model \
--w_bit 4 --q_group_size 128 \
--run_awq --dump_awq awq_cache/vila-w4-g128.pt
使用tinychat/benchmark.py进行性能评估：
cd tinychat
python benchmark.py --model_type vila \
--model_path /path/to/vila-model \
--quant_path quant_cache/vila-w4-g128-awq.pt \
--precision W4A16
通过20项任务的全面评估，验证了AWQ INT4量化在10个多模态模型上的卓越表现：
AWQ技术为多模态AI的普及应用扫清了关键障碍，让高性能视觉语言模型能够在消费级硬件上流畅运行。随着部署工具的完善，AWQ量化模型将更广泛地服务于各种实际应用场景。
未来，将继续优化核心模块，进一步提升多模态模型的量化效率和推理性能，推动边缘AI的快速发展。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online