通过自适应屏蔽提示保护多模态大模型免受结构攻击

AdaShield：通过自适应屏蔽提示保护多模态大型语言模型免受基于结构的攻击

摘要

随着多模态大型语言模型（MLLM）的出现和广泛部署，确保其安全性的必要性变得越来越明显。然而，随着附加模式的集成，MLLMs 暴露在新的漏洞中，使其容易受到基于结构的越狱攻击，其中语义内容（例如'有害文本'）被注入图像中以误导 MLLMs。在这项工作中，我们的目标是防范这种威胁。具体而言，我们提出了自适应屏蔽提示（AdaShield），它在输入前准备防御提示，以保护 MLLMs 免受基于结构的越狱攻击，而无需微调 MLLMs 或训练额外的模块（例如，后期内容检测器）。最初，我们提供了一个手动设计的静态防御提示，它一步一步地彻底检查图像和指令内容，并指定对恶意查询的响应方法。此外，我们还介绍了一个自适应自动细化框架，该框架由目标 MLLM 和基于 LLM 的防御提示生成器（Defender）组成。这些组件协作和迭代地进行通信，以生成防御提示。在流行的基于结构的越狱攻击和良性数据集上进行的大量实验表明，我们的方法可以持续提升防御效果。