针对多模态大模型因文本预训练知识过度依赖而产生的幻觉问题， Bootstrapped Preference Optimization（BPO）方法。该方法将多模态对齐转化为偏好学习任务，通过弱化图像提示和错误注入两种策略自动构建包含预训练偏见的负样本数据集，并结合直接偏好优化（DPO）技术进行微调。实验显示，经 BPO 微调的 LLaVA 模型在 MM-Vet、Object HalBench 等基准测试中表现优于传统监督微调，有效提升了模型的视觉理解能力和回答的可信度。
随着大型语言模型（LLMs）的进步，多模态大型语言模型（MLLMs）迅速发展。它们使用预训练的视觉编码器处理图像，并将图像与文本信息一同作为 Token 嵌入输入至 LLMs，从而扩展了模型处理图像输入的对话能力。这种能力的提升为自动驾驶、医疗助手等多种潜在应用领域带来了可能性。
尽管 MLLMs 具有出色的图文理解能力，但它们仍然会出现错误或幻觉，生成与输入图像不相符的回答，例如回答不存在的对象或错误识别属性等。我们认为多模态大模型在不同训练阶段的数据量和训练时间的不平衡是产生这类偏见的主要原因之一。
多模态大模型的语言模块往往使用了海量的文本数据进行预训练，而模态对齐阶段则使用更小的数据规模和更短的训练时间。这导致模型在推理时倾向于依赖其强大的文本先验知识，而非实际观察到的视觉信息。这种现象被称为'文本预训练知识的过度依赖'，即模型可能'以为'看到了它根据文本概率预测应该看到的东西，而不是真正基于图像内容生成的响应。
为了解决上述问题，我们提出了一种偏好对齐方法——Bootstrapped Preference Optimization（BPO）。该方法旨在缓解多模态大模型的幻觉现象的同时提升模型的视觉理解能力。我们将多模态对齐问题转化为偏好学习任务，其中预训练偏见和视觉理解能力被视为旧的和新的偏好。
对于偏好数据集的正面样本，已经有许多为监督微调而设计的现成数据集，例如通过 LlaVA 和 MiniGPT4 生成的高质量标注问答数据、ShareGPTV 利用强大的 GPT4-V 作为工具为图像生成高质量标题。我们将这些已标注完成的公开数据集作为偏好数据集中的正面响应，在保证高质量数据对的同时避免了昂贵的人工标注。
为了能收集到能反映预训练偏见的负面响应数据，我们提出了两种自动化构建大规模偏好数据集的方法：
接下来，我们采用直接偏好优化（DPO）对多模态模型进行优化。DPO 是一种无需显式奖励模型的偏好优化方法，它通过最大化正样本相对于负样本的对数几率差来更新策略模型参数。公式上，我们最小化以下损失函数：
$$\mathcal{L}{DPO} = - \log \sigma \left( \beta \log \frac{\pi\theta(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{ref}(y_l|x)} \right)$$
其中 $y_w$ 为正样本，$y_l$ 为负样本，$x$ 为输入，$\pi_{ref}$ 为参考模型，$\beta$ 为温度系数。
我们采用经过 BPO 微调过后的 LLaVA 模型（LLaVA-7B-BPO 和 LLaVA-13B-BPO）在多个基准测试榜单上进行测试，包括 MM-Vet、LLaVA-Wild 和 Object HalBench。
实验结果表明，经过 BPO 微调后的模型在三个基准测试榜单的所有任务中均取得领先。在大多数任务上，LLaVA-7B-BPO 的表现甚至超过了未曾微调的 LLaVa1.5-13B 模型。这证明了即使参数量较小，通过高质量的偏好数据对齐也能显著提升性能。
我们还将 BPO 与监督微调训练（SFT）进行对比。我们通过直接使用数据集中的正样本作为监督数据对模型进行微调。实验表明经过 BPO 微调过的多模态大模型在不同类别的子任务下的表现均优于 SFT 微调。这说明引入负样本并构建偏好学习框架比单纯的监督学习更能抑制模型的文本偏见。
在定性结果上，我们对比了 BPO 微调前后多模态大模型的表现。我们发现经过 BPO 微调后的模型能生成更忠诚于图像输入的答案，并且包含更少错误信息。例如，当图像中包含特定物体但文本描述模糊时，BPO 模型更倾向于依据视觉特征回答，而不是套用常见的文本模板。
本文提出的 BPO 方法为多模态大模型的幻觉问题提供了一条新的解决路径。通过将预训练偏见显式地建模为负样本，并利用 DPO 进行偏好优化，我们成功地在保持模型通用能力的同时增强了其视觉感知的准确性。
未来的工作可以进一步探索更复杂的负样本构建策略，例如结合对抗攻击生成更具挑战性的错误样本，或者研究如何在不同模态之间实现更细粒度的对齐。此外，将 BPO 思想应用于其他多模态任务（如视频理解、语音交互）也是值得探索的方向。
更多研究细节，可参考原论文 Strengthening Multimodal Large Language Model with Bootstrapped Preference Optimization。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
