RLAIF-V：开源 AI 反馈助力多模态模型可信度超越 GPT-4V

五、核心价值与适用场景

1. 核心价值：无需额外训练，仅在推理阶段优化；通用性强，可适配任何具备'自评估能力'的对齐模型；成本可控。
2. 适用场景：对输出可信度要求高的场景（如视觉问答、图像描述）；模型单轮推理稳定性不足的场景。

六、与其他'多候选策略'的区别

摘要

RLAIF-V 框架，通过全开源范式对齐多模态大语言模型，从偏好学习的高质量反馈数据生成和推理阶段的自反馈引导两个维度充分挖掘开源模型潜力。在六个基准测试的自动与人工评估中，RLAIF-V 显著提升了模型在偏好学习和推理阶段的可信度：RLAIF-V 7B 模型将物体幻觉率降低 80.7%，整体幻觉率降低 33.7%；更值得关注的是，RLAIF-V 12B 模型展现了开源模型的自对齐潜力，通过学习自身反馈实现了超越 GPT-4V 的可信度。

1. 引言

多模态大语言模型在大规模多模态语料训练下具备深厚的世界知识，能够处理各类多模态任务，但这类模型容易自信地生成与人类偏好不符的错误内容（幻觉问题）。基于人类反馈的强化学习（RLHF）是主流的对齐方法，但依赖大量人工标注，难以覆盖模型与人类偏好的广泛错位。

基于 AI 反馈的强化学习（RLAIF）以模型偏好替代人类偏好，展现出替代 RLHF 的潜力，但当前方案面临两大挑战：

1. 标注模型要求过高：现有 RLAIF 方法依赖昂贵的专有模型提取反馈，若直接替换为能力较弱的开源模型，会因模型容量限制导致反馈质量不佳；
2. 推理阶段扩展有限：现有多模态模型研究多聚焦偏好学习阶段的高质量反馈利用，忽视了推理阶段反馈的重要性，且盲目增加推理计算资源难以提升性能。

RLAIF-V 通过两大创新解决上述问题：

1. 高质量反馈生成：提出去混淆候选响应生成策略提升数据效率，采用分而治之方法提高成对偏好准确率。
2. 推理阶段扩展引导：提出基于直接偏好优化（DPO）对齐模型的自反馈方法，利用对齐模型生成的奖励分数作为自我反馈，并设计长度归一化策略抑制 DPO 奖励对短响应的偏好偏见。

2. RLAIF-V 框架

RLAIF-V 框架总览：(1) 给定输入图像和提示词后，通过去混淆策略生成多个候选响应。(2) 每个响应被拆分为原子声明，由开源多模态大语言模型（MLLM）分别赋予可信度分数。(3) 在偏好学习阶段，模型通过迭代反馈学习方法进行对齐，该方法会定期更新反馈数据。(4) 在推理阶段，通过自反馈引导进一步提升已对齐模型的性能。

2.1 响应生成

为凸显响应间可信度的真实差异，RLAIF-V 采用去混淆策略：对同一输入（图像 + 提示词），通过不同随机种子进行采样解码，生成 n 个候选响应。这些响应来自相同分布，具备相似的文本风格和语言模式，使模型在训练时能专注于可信度差异而非表面特征。

2.2 反馈标注

采用分而治之方法简化反馈标注任务：

• 拆分（Divide）：将响应拆解为原子声明（排除观点和主观表述），每个声明可独立评估；
• 评估（Conquer）：将每个原子声明转换为极性问题（如将'时钟显示约 11:20'转换为'时钟是否显示 11:20？'），由开源模型生成同意和不同意的置信度作为声明分数；
• 合并（Combine）：统计响应中'不同意概率>同意概率'的声明数量，以该数量的负值作为响应最终分数，分数越高表示内容错误越少。基于分数构建偏好数据集，保留分数更高的响应作为优选响应。

2.3 迭代反馈学习

为解决 DPO 训练中偏好数据静态化与模型输出分布动态变化的分布偏移问题，RLAIF-V 采用迭代训练方式：每次迭代开始时，使用最新模型生成候选响应，通过分而治之方法获取反馈并构建训练数据集，再通过 DPO 训练更新模型，使反馈分布随模型迭代动态调整。

2.4 推理阶段自反馈

DPO 对齐后的模型可同时作为策略模型和奖励模型，奖励函数定义为： $$r(y) = \frac{\beta}{T} \log \frac{\pi_{\theta}(y)}{\pi_{ref}(y)}$$ 其中 $\beta$ 为控制与基准策略偏离程度的参数，y 为响应 token 序列。为解决短响应偏好偏见，通过归一化处理得到最终奖励分数。推理时采用最佳 N 选择（BoN）策略，从多个采样响应中选择奖励分数最高的作为模型输出，并通过核采样提升候选响应多样性。

3. 实验

3.1 实验设置

• 模型：以 LLaVA 1.5 7B 为基准模型，LLaVA-NeXT 34B 为标注模型；极端场景下采用 OmniLMM 12B 同时作为基准模型和标注模型；
• 训练数据：来自 MSCOCO、ShareGPT-4V 等多个数据集，包含图像描述、视觉问答等多种任务；
• 评估基准：可信度评估采用 Object HalBench、MMHal-Bench 等五个基准，有用性评估采用 MMStar 基准；
• 基线模型：包括通用多模态模型（如 LLaVA 1.5、Qwen-VL-Chat）、反馈学习模型（如 RLHF-V、Silkie）、无反馈幻觉抑制模型（如 VCD、OPERA）及专有模型 GPT-4V。

3.2 主要结果

• 可信度超越：RLAIF-V 在开源模型中实现最先进的可信度性能，甚至超越 GPT-4V。LLaVA 1.5 7B 经 RLAIF-V 优化后，Object HalBench 物体幻觉率降低 80.7%；RLAIF-V 12B 在 MHumanEval 的整体幻觉率仅为 35.6%，大幅超越 GPT-4V；
• 有用性保持：在提升可信度的同时，模型在 MMStar 基准的有用性分数较基准模型显著提升，证明 RLAIF-V 不会牺牲其他任务性能；
• 自对齐潜力：OmniLMM 12B 作为自标注模型时，仍实现显著的幻觉抑制，在多个基准上超越 GPT-4V，展现开源模型自对齐的可行性；
• 推理优化：通过自反馈的 BoN 策略，RLAIF-V 7B 和 12B 的可信度进一步提升，验证了推理阶段自反馈的有效性。

3.3 消融实验

• 分而治之策略：与直接整体评估相比，该策略生成的反馈数据人类一致性更高（96.7% vs 66.7%），模型性能更优，且反馈质量可媲美 GPT-4V 生成的反馈。
• 去混淆策略：移除该策略后，模型在 Object HalBench 和 AMBER 基准的性能显著下降，证明其能有效提升学习效率。

3.4 分析

• 推理提升：RLAIF-V 奖励机制在不同开源模型上均能持续提升生成可信度，且长度归一化策略有效解决了短响应偏好问题。
• 泛化性：RLAIF-V 12B 生成的反馈数据可有效降低 LLaVA 1.5 7B/13B、MiniCPM-V 等其他多模态模型的幻觉率，展现良好的跨模型泛化性；
• 兼容性：RLAIF-V 可与 HA-DPO 的启发式反馈、RLHF-V 的人工反馈互补，进一步提升模型可信度。

4. 相关工作

• 反馈学习：PPO 是早期主流对齐方法，DPO 简化了训练流程但存在分布偏移问题，RLAIF-V 通过迭代反馈解决该问题；
• 多模态反馈收集：早期依赖人工标注或专有模型，RLAIF-V 首次实现全开源设置下的高质量反馈收集；
• 无反馈幻觉抑制：通过视觉对比解码、EOS 决策优化等方法降低幻觉，但效果不及基于反馈的学习方法。

5. 结论

RLAIF-V 框架通过开源 AI 反馈显著提升了多模态大语言模型的可信度，其去混淆采样和分而治之策略优化了反馈的效率和质量，自反馈引导实现了推理阶段的性能提升。该框架生成的反馈具有良好的泛化性，可适配多种开源模型。未来将探索更复杂的反馈形式，以提升模型的逻辑推理和复杂任务处理能力。