超越GPT-4o-mini | 北大开源「国产o1」大模型，{多阶段自主推理}让小模型也能“放大招“！

超越GPT-4o-mini | 北大开源「国产o1」大模型，{多阶段自主推理}让小模型也能"放大招"！

原创 AI产品汇  2024年11月19日 07:15 广东

“OpenAI的闭源多模态模型o1再次霸榜好久了，这使得开源界与闭源界之间的差距进一步拉大。早期的开源视觉语言模型（VLM）主要采用直接预测方法，在回答问题时立即生成简短的答案。这种直接反应范式的主要局限性在于它缺乏结构化的推理过程，这使得它对需要逻辑推理的任务效率较低。大量的研究结果表明，这些问题的一个重要原因是现有VLM中推理过程的系统性和结构化不足。具体来说，通过引用系统，该模型不生成直接的推理链，而是参与多阶段推理。另一方面，结构化是指模型能够清楚地识别它所处的推理阶段，并理解每个阶段要解决的主要任务。作者介绍了LLaVA-o1，这是一种用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVA-o1能够独立地参与总结、视觉解释、逻辑推理和结论生成的连续阶段。它不仅在各种多模态推理基准上比其基础模型高出8.9%，而且还超过了更大甚至闭源模型的性能，如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-VisionInstru ct。”

代码链接-https://github.com/PKU-YuanGroup/LLaVA-o1

论文链接-https://arxiv.org/pdf/2411.10440

01-LLaVA-o1背景简介

以OpenAI o1为代表的大型语言模型展示了强大的推理能力，这充分的验证了语言模型推理时间缩放的有效性。然而，视觉对于使模型能够充分理解世界并扩展其认知能力同等重要。因此，开发一个融合语言和视觉的多模态模型，同时促进其有效、系统和深入的推理，具有重要意义。

早期的开源视觉语言模型（VLM）主要采用直接预测方法，在回答问题时立即生成简短的答案。这种直接反应范式的主要局限性在于它缺乏结构化的推理过程，这使得它对需要逻辑推理的任务效率较低。近期的研究表明，结合思维链（CoT）推理可以鼓励模型逐步推理，显著提高其问答能力。然而，即使使用CoT推理，大多数VLM在推理过程中也经常产生错误或幻觉输出。

大量的研究结果表明，这些问题的一个重要原因是现有VLM中推理过程的系统性和结构化不足。具体来说，通过引用系统，该模型不生成直接的推理链，而是参与多阶段推理。另一方面，结构化是指模型能够清楚地识别它所处的推理阶段，并理解每个阶段要解决的主要任务。作者观察到，VLM经常在没有充分组织问题和可用信息的情况下发起响应。此外，它们经常偏离对结论的逻辑推理，而不是过早地提出结论并随后试图证明其合理性。鉴于语言模型会逐一生成响应，一旦引入错误的结论，模型通常会沿着有缺陷的推理路径继续。

02-LLaVA-o1算法简介

在这项工作中，作者介绍了LLaVA-o1，这是一种用于进行自主多阶段推理的新型VLM。与思维链提示不同，LLaVA-o1能够独立地参与总结、视觉解释、逻辑推理和结论生成的连续阶段。这种结构化方法使得LLaVA-o1能够在推理密集型任务的精度方面得到显著地提高。

为了实现这一点，作者收集了LLaVA-o1-100k数据集，整合了很多来自各种可视化问答源的样本，并提供了结构化的推理注释。此外，作者提出了一种推理时间级波束搜索方法，该方法能够实现有效的推理时间尺度。

值得注意的是，LLaVA-o1仅使用了10万个训练样本和一种简单而有效的推理时间缩放方法，它不仅在各种多模态推理基准上比其基础模型高出8.9%，而且还超过了更大甚至闭源模型的性能，如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-VisionInstruct。

03-LLaVA-o1算法整体流程

上图展示了该算法的推理流程。利用Best-of-N搜索方法来生成N个完整响应，并从中选择一个最佳响应；句子级的束搜索为每个句子生成多个候选选项，并选择最佳选项。相比之下，作者提出的阶段级波束搜索能够为每个推理阶段（例如，摘要、标题、推理和结论）生成候选者，并在每个阶段选择最佳选项。Best-of-N搜索在粗略级别上运行，而句子级别的Beam搜索过于精细，该方法实现了最佳平衡并获得了最佳性能。具体的步骤如下所述：

步骤1--在第一阶段的解决方案种采样N个样本。

步骤2--随机抽取2个响应，让模型确定哪个更好，保持更好的响应。

步骤3--重复N-1次，保持最佳反应。

步骤4--对下一阶段的N个响应进行采样，然后重复步骤2-4，直到所有阶段都处理完毕。

04-LLaVA-o1算法实现细节

04.01-生成LLaVA-o1-100k的工作流

大多数现有的VQA数据集缺乏训练LLaVA-o1模型所需的详细推理过程。因此，作者收集了一个新的数据集，该数据集中整合了几个广泛使用的VQA数据集的样本，总共有99k个图像QA对（每对可能包括一轮或多轮提问）。

如上图所示，由于目前不存在可以直接产生系统、结构化推理的多模态模型，作者使用GPT-4o生成详细的推理过程，包括总结、标题、推理和结论，并将其编译成LLaVA-o1-100k数据集，作者计划后期发布该数据集，供大家一起使用。

04.02-阶段级的束搜索详解

作者在上图中提供了一个示例。当不应用推理时间缩放时，尽管模型生成了正确的推理步骤，但在推理过程中无法得出具体的答案。这会导致模型在结论阶段进行猜测，从而导致错误的结果。相比之下，通过推理时间缩放，模型保留了导致最终结果的推理步骤，确保了答案的正确性。

05-LLaVA-o1算法性能评估

05.01-主观效果性能评估

上图展示了基础的LIama-3.2-11B模型和LLaVA-o1在相同的输入问题上面的比较结果。通过观察与分析，我们可以发现：基础模型Llama-3.2-11B-VisionInstruct在推理过程中表现出明显的缺陷，在整个推理过程中出现了几个错误。相比之下，LLaVA-o1首先概述问题，解释图像中的相关信息，进行逐步推理过程，最终得出一个有充分支持的结论。

05.02-客观指标性能评估

上图展示了LLaVA-o1和其它模型在六个多模态推理基准上的性能表现。尽管LLaVA-o1是从Llama-3.2-11B-VisionInstruct模型（平均得分最低）微调而来的，但它的表现优于许多较大的开源模型，甚至超过一些闭源模型。

上表展示了不同的模型在多个评估基准上面的实验结果。这里，LLaVA-o1（带直接训练）是指直接在原始VQA数据集的问答对上训练的模型，而LLaVA-o1（不带结构化标签）表示在去除结构化标签的LLaVA-o-100k数据集上训练的模型。LLaVA-o1是指在完整的LLaVA-o1-100k数据集上训练的模型，包括结构化标签。

通过观察与分析，我们可以发现：LLaVA-o1在多个基准上面都超越了其它的基线算法，这充分的证实了其有效性。

如上表所示，作者在六个需要高级推理能力的基准测试中比较了LLaVA-o1与其它几个最先进的开源和闭源视觉语言模型（VLM）：MMStar-R、MMBench-R、MMVet-R、MathVista、AI2D和HallusionBench。

通过观察与分析，我们可以发现：LLaVA-o1始终优于许多类似甚至更大尺寸的开源模型，如InternVL2-8B、Ovis1.5-Gemma29B、MiniCPM-V2.6-8B、Llama-3.2-90B-VisionInstruct和VILA-1.5-40B。值得注意的是，LLaVA-o1甚至超越了GPT-4o-mini和Gemini-1.5-pro等某些闭源模型，突显了该结构化推理方法的有效性。这种比较验证了该方法的优势，特别是在严重依赖推理技能的基准测试中，并强调了LLaVA-o1是推理密集型VLM任务领域的竞争模型。

06-LLaVA-o1算法效果展示

图6.1-LLaVA-o1算法效果展示1

图6.2-LLaVA-o1算法效果展示2