大模型 LLMs 热门研究方向盘点：RAG、Agent、Mamba、MoE、LoRA

Mamba

Mamba 是一种选择性结构状态空间模型（Selective Structured State Space Model），其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。该技术最早由 CMU 提出，Mamba 通过全局感受野和动态加权，缓解了卷积神经网络的建模约束，并提供了类似于 Transformers 的高级建模能力，同时避免了与 Transformer 相关的二次计算复杂性。其研究方向集中在提高「长序列数据处理能力」、「多模态数据处理」和「计算效率」等。

架构演进与变体

1. MoE-Mamba：波兰研究团队给出的研究成果是将 Mamba 和混合专家层组合起来的模型。MoE-Mamba 能同时提升 SSM 和 MoE 的效率。而且该团队还发现，当专家的数量发生变化时，MoE-Mamba 的行为是可预测的。
2. Vim：中科大等研究人员将 Mamba 与视觉研究结合起来，提出了 Vim 架构。在 ImageNet 分类任务、COCO 对象检测任务和 ADE20k 语义分割任务上，与 DeiT 等成熟的视觉 Transformers 相比，Vim 实现了更高的性能，同时还显著提高了计算和内存效率。例如，在对分辨率为 1248×1248 的图像进行批量推理提取特征时，Vim 比 DeiT 快 2.8 倍，并节省 86.8% 的 GPU 内存。
3. DenseMamba：华为诺亚方舟实验室的研究者提出了 DenseMamba，用于增强 SSM 中各层间隐藏信息的流动。通过将浅层隐藏状态有选择地整合到深层中，DenseSSM 保留了对最终输出至关重要的精细信息。该方法可广泛应用于各种 SSM 类型，如 Mamba 和 RetNet。
4. Cobra：浙大将 Mamba 与多模态大模型结合，提出了 Cobra，一个具有线性计算复杂度的 MLLM。它将 Mamba 语言模型整合到了视觉模态中。实验结果显示，Cobra 在性能上与最先进的方法相当，速度更快，尤其在处理视觉错觉和空间关系判断方面表现突出。Cobra 的参数量只有 LLaVA 的 43%，但性能相当。
5. Jamba：AI21 Labs 推出并开源了一种名为 Jamba 的新方法，在多个基准上超越了 Transformer。Jamba 将基于结构化状态空间模型 (SSM) 的 Mamba 模型与 Transformer 架构相结合，旨在将 SSM 和 Transformer 的最佳属性结合在一起。结果表明，Jamba 在长上下文上的吞吐量达到了 Mixtral 8x7B 的 3 倍，比同等大小的基于 Transformer 的模型更高效。

大模型高效微调 LoRA

大模型在微调过程中，可以采取不同的策略，主要分为全量微调和参数高效微调两大类。全量微调涉及对预训练模型的所有参数进行调整，需要大量的计算资源，并有可能导致灾难性遗忘，即在提升特定任务性能的同时损失在其他领域的表现。

为了解决这些问题，参数高效微调（PEFT）技术通过仅更新模型中的一部分参数来减少训练时间和计算成本。PEFT 包括多种方法，如 Prefix Tuning、Prompt Tuning、P-Tuning、Adapter Tuning，以及 LoRA。LoRA 通过在矩阵相乘模块中引入低秩矩阵来模拟 full fine-tuning。这些技术旨在提高训练效率，同时保持或提升模型性能。

在广泛使用的参数高效微调 (PEFT) 方法中，LoRA 及其变体由于避免了额外的推理成本而获得了相当大的普及。LoRA 显著降低了微调的成本，同时获得与全模型微调相近的效果。所以 LoRA 的一些改进方法也层出不穷，该方向也成了研究热点。该方向的研究重点主要在于「参数效率」、「保微调策略」、「上下文扩展」、「模型压缩」等。

主流优化方案

1. DORA：英伟达提出了权重分解低阶适应 (DORA)，增强了 LoRA 的学习能力和训练稳定性，同时避免了任何额外的推理开销。实验表明 DORA 在各种下游任务上的模型微调都要优于 LoRA。
2. QLoRA：华盛顿大学提出了 QLoRA，该算法在保持完整的 16 位微调任务性能的情况下，可以实现单卡 48G GPU 微调 650 亿参数的大模型。作者公布了他们训练的系列模型 Guanaco，与之前公开发布的所有模型相比，在 Vicuna 基准测试中表现更好，只需要在单个 GPU 上微调 24 小时就能达到 ChatGPT 性能水平的 99.3%。
3. LongLoRA：MIT 为了扩展 Token 上下文长度，提出了 LongLoRA 微调算法。它能够在资源受限的情况下，极大的扩展预训练大模型 (LLMs) 的上下文长度，LongLoRA 可以让 LLaMA2-7B 的上下文从 4K 扩展至 100K。
4. S-LORA：斯坦福提出了 S-LORA，它是专为众多 LoRA 适配程序的可扩展服务而设计的系统。它将所有适配程序存储在主内存中，并将当前运行查询所使用的适配程序取到 GPU 内存中。S-LORA 能够以较小的开销在单个 GPU 或多个 GPU 上为数千个 LoRA 适配器提供服务，并将增加的 LoRA 计算开销降至最低。

混合专家模型 MoE

MoE 全称为 Mixed Expert Models。该项技术最早是由剑桥的研究人员在 1991 年的一篇文章中提出。但是随着近年来大模型参数规模的不断拓展，以及大模型多任务的应用，该技术也成为了当前研究的热点。

随着模型参数规模的不断增大，模型性能也会不断的提升，并会出现涌现现象。然而，如何在有限的计算资源预算下，用更少的训练步数训练一个更大的模型呢？MoE 技术主要就是干这件事情的。MoE 具有训练资源需求低、训练速度快、推理成本低、扩展性好以及具备多任务学习能力。它的一个显著优势是它们能够在远少于 Dense 模型所需的计算资源下进行有效的预训练。这意味着在相同的计算预算条件下，您可以显著扩大模型或数据集的规模。

当前其研究重点主要集中在「专家网络的协同」、「动态路由」、「专家激活率低」和「模型的可扩展性」等方向。

关键技术突破

1. Switch Transformers：2022 年，Google 提出的 Switch Transformers 一定程度缓解了模型复杂性高、下游任务微调不稳定等问题。Switch Transformers 简化了 MoE 路由算法，设计了直观的改进模型，降低了通信和计算成本。首次展示了用较低精度（bfloat16）格式训练大型稀疏模型的可能性。
2. 动态 Expert 选择框架：北大针对 MoE 路由机制进行了改进，提出了一种新颖的动态 Expert 选择框架。对于较难的任务，本文方法会选择更多的 Expert 来处理，对于简单的任务就用少些，这样可以更有效地利用计算资源。实验结果表明，本文动态路由方法在各种基准测试中都要优于传统的 Top-2 路由方法平均提高了 0.7%，同时激活的参数不到 90%。
3. MH-MOE：微软针对 MoE 专家激活率低等问题，提出了多头混合专家 (MH-MOE)。MH-MOE 采用了多头机制，可将每个输入 token 分成多个子 token。然后将这些子 token 分配给组多样化的专家并行处理，之后再无缝地将它们整合进原来的 token 形式，该方法专家激活率更高且扩展性更好，并且具有更细粒度的理解能力。
4. CuMo：ByteDance 针对大模型多模态场景提出了 CuMo，将 MOE 应用于多模态 LLM。该方法在视觉编码器和多层感知器 (MLP) 连接器中整合了 Top-K 稀疏门控 MOE 块，有效提升了模型在多模态任务上的性能，同时保持了较低的推理成本。在不同模型尺寸的多模态任务基准测试中达到了 SOTA。

总结

综上所述，大模型技术的演进正朝着更高效、更智能、更通用的方向发展。RAG 解决了知识时效性与幻觉问题；Agent 赋予了模型自主行动与规划能力；Mamba 提供了超越 Transformer 的计算效率；LoRA 降低了个性化部署门槛；MoE 则在有限算力下实现了更大规模的模型训练。这些方向的交叉融合，将共同推动人工智能技术在垂直领域的深度落地与应用。