开源 LLaVA-o1：基于自主多阶段推理的视觉语言模型解析
LLaVA-o1 是一个设计用于进行自主多阶段推理的新型视觉语言模型（VLM）。与传统的思维链提示（Chain-of-Thought prompting）不同，LLaVA-o1 独立地参与到总结、视觉解释、逻辑推理和结论生成的顺序阶段。该模型在性能上超越了一些更大甚至闭源的模型，例如 Gemini-1.5-pro、GPT-4o-mini 和 Llama-3.2-90B-Vision-Instruct。
基础模型与 LLaVA-o1 的比较
基础模型 Llama-3.2-11B-Vision-Instruct 在推理过程中存在明显缺陷，整个推理过程中容易出现错误。相比之下，LLaVA-o1 首先概述问题，从图像中解释相关信息，然后进行逐步推理过程，并最终得出一个有充分支持的结论。这种结构化的处理方式显著提升了复杂任务下的表现。
LLaVA-o1 如何炼成
LLaVA-o1 模型通过结构化推理框架、专门的数据集和训练方法，以及推理时的阶段性束搜索策略，来提高模型在复杂任务中的推理能力和扩展性。
1. 结构化推理阶段
LLaVA-o1 将推理过程划分为四个明确的阶段，每个阶段都有特定的目标和输出格式。四对特殊标签用于界定这些阶段，确保模型输出的结构化。
- 总结阶段（Summary Stage）：LLaVA-o1 在这一阶段提供对问题的高层次总结，概述它打算解决的问题的主要方面。这有助于模型聚焦核心意图。
- 图像描述阶段（Caption Stage）：如果存在图像，LLaVA-o1 提供与问题相关的图像元素的简洁概述，帮助理解多模态输入。这一步骤确保了视觉信息被准确提取并转化为文本表征。
- 推理阶段（Reasoning Stage）：在初始总结的基础上，LLaVA-o1 进行结构化、逻辑推理，得出初步答案。这是模型进行深度思考的核心环节。
- 结论阶段（Conclusion Stage）：在最后阶段，LLaVA-o1 根据前面的推理综合答案。结论阶段的输出是直接提供给用户的响应，而前三个阶段是内部的'隐藏阶段'，代表 LLaVA-o1 的推理过程。
2. 数据准备和模型训练
由于现有的视觉问题回答（VQA）数据集缺乏训练 LLaVA-o1 所需的详细推理过程，研究者们编译了一个新的数据集 LLaVA-o1-100k，整合了多个广泛使用的 VQA 数据集的样本。
- 数据生成：使用 GPT-4o 生成包括总结、图像描述、推理和结论的详细推理过程，并将这些编译成 LLaVA-o1-100k 数据集。这种蒸馏方式保证了高质量的结构化推理数据。
- 模型微调：选择了 Llama-3.2-11B-Vision-Instruct 模型作为基础模型，并使用 LLaVA-o1-100k 数据集进行全参数微调。这使得小参数量的模型也能具备强大的推理能力。
3. 有效的推理时扩展使用阶段性束搜索
训练完成后的目标是在推理期间进一步增强模型的推理能力。LLaVA-o1 的输出设计为结构化，提供了理想的粒度，用于推理时扩展。
采用**阶段性束搜索（Stage-level Beam Search）**方法，该方法在每个推理阶段生成多个候选结果，并选择最佳结果以继续生成过程。通过在每个阶段进行有效的验证，这种方法验证了结构化输出在提高推理时扩展中的有效性。
推理方法的示意图
- 最佳选择法（Best-of-N search）：生成 N 个完整的响应，并从中选择最好的一个。这种方法在粗略层面上操作，计算成本高且容易忽略中间步骤的质量。
