引言
紧跟技术发展趋势，快速了解大模型最新动态。本周总结最近一周的研究动态，梳理了 10 篇有关大模型 (LLMs) 的最新研究进展，其中涉及多模态 RAG、推理时对齐、多模态模型、大模型微调、大模型 Agent 等热门研究。
LMU | 多模态 RAG 系统
论文：https://arxiv.org/pdf/2410.21943
检索增强生成（RAG）主要解决的是大模型缺乏领域知识且容易产生幻觉的问题。随着当前多模态模型的发展，它可以同时处理文本和图像，那么能否将多模态模型应用到 RAG 系统中呢？基于这个问题，本文重点研究了如何将多模态模型集成到 RAG 系统中，旨在找到多模态 RAG 系统的最佳配置。
本文作者研究主要关注两个问题：
- 基于工业领域中的 PDF 文档，将单模态文本、单模态图像、文本 + 图像双模态放入 RAG 系统中，看一看文本 + 图像双模态是否能够提升 RAG 系统的性能？
- 如何优化多模态 RAG 系统？
为了回答这两个问题，本文作者首先选择了当前主流的两个多模态模型 GPT4-Vision，LLaVA，然后手动标注了数据集和 RAG 系统测试集，接着作者构建了一个多模态 RAG 系统（两种配置），将文本和图像结合到一块。
CMU | 提出推理时对齐方法
论文：https://arxiv.org/pdf/2410.20290
大模型训练主要包括两个部分，分别为 Pre-Training 和 Post-Training。当我们拿到开源大模型的时候，通常会与实际场景结合来对大模型做一波 Post-Training，进而改变预训练模型的权重来实现 LLM 对齐。那么能否有一种技术来避免 Post-Training 来实现大模型对齐呢？
答案就是「推理时对齐方法」，称之为：Best-of-N。但是该方法有一个缺点，就是在推理时所需要的资源远远要超过标准解码策略，这不利于实际应用。今天给大家分享的这篇文章就针对这个问题，提出了一种计算上可行的推理时对齐算法，称为 Speculative Rejection，在计算效率上可以高出 16 至 32 倍。
智源 | 新型扩散模型架构 OmniGen
论文：https://arxiv.org/pdf/2409.11340
OmniGen 具有以下特点：
统一性： OmniGen 天然地支持各种图像生成任务，例如文生图、图像编辑、主题驱动生成和视觉条件生成等。此外，OmniGen 可以处理经典的计算机视觉任务，将其转换为图像生成任务。
简单性： OmniGen 的架构高度简化。此外，与现有模型相比，它更加用户友好，可以通过指令完成复杂的任务，而不需要冗长的处理步骤和额外的模块（如 ControlNet 或 IP-Adapter），从而大大简化了工作流程。
知识迁移： 受益于统一格式的学习，OmniGen 有效地跨不同任务迁移知识，应对未见过的任务和领域，并展示新颖的功能。研究人员还探讨了模型的推理能力和思维链机制的在图像生成领域的潜在应用。
Salesforce | 多模态语言模型：BLIP-3-Video
论文：https://arxiv.org/pdf/2410.16267
本文提出了一个专门处理视频的多模态语言模型：BLIP-3-Video（xGen-MM-Vid），它能有效捕捉视频帧之间的时间信息。
这个模型除了使用常规的视觉分词器外，还增加了一个'时间编码器'，可以把多帧视频转换成更少的视觉标记，减少了模型需要处理的标记数量。实验证明，BLIP-3-Video 虽然模型更小，但在视频问答的准确率上与更大的模型相当，效率更高。
CMU | 多语言多模态：Pangea
论文：https://arxiv.org/pdf/2410.16153
当前大模型主要主要关注英语和西方文化的问题。为此，本文作者训练了一个「多语言多模态大模型：Pangea」，该模型覆盖 39 种语言的 600 万指令数据集 PangeaIns 上进行训练。
