2024 年 10 篇大模型前沿论文：微调、Transformer 与混合模型研究综述

为了应对这些挑战，本文引入了 DistAttention，一种新颖的分布式注意力算法。它将 KV Cache 分割成更小的、可管理的单元，从而实现注意力模块的分布式处理和存储。基于此，提出了 DistKV-LLM，这是一种分布式 LLM 服务系统，可以动态管理 KV 缓存并有效地编排跨数据中心的所有可访问的 GPU 和 CPU 内存。

在具有 32 个 NVIDIA A100 GPU（配置为 2 到 32 个实例）的云环境中进行验证，系统表现出 1.03-2.4 倍的端到端吞吐量改进，支持的上下文长度比当前最先进的 LLM 长 2-19 倍。服务系统通过对 18 个上下文长度高达 1,900K 的数据集进行的广泛测试证明了这一点。这为云端大规模部署支持超长上下文的 LLM 服务提供了技术基础。

五、MoE-Mamba：状态空间模型与专家混合的结合

论文链接： https://arxiv.org/pdf/2401.04081.pdf

状态空间模型（SSM）已成为序列建模领域的有力竞争者，挑战了 Transformers 的主导地位。与此同时，Mixture of Experts (MoE) 显着改进了基于 Transformer 的 LLM，包括最近最先进的开源模型。

本文提出为了释放 SSM 的扩展潜力，应该与 MoE 结合起来。并在 Mamba 上展示了这一点，这是一个最近基于 SSM 的模型，它实现了类似 Transformer 的卓越性能。本文模型 MoE-Mamba 的性能优于 Mamba 和 Transformer-MoE。

特别是，MoE-Mamba 以减少 2.2 倍的训练步骤达到与 Mamba 相同的性能，同时保留了 Mamba 相对于 Transformer 的推理性能增益。这种结合证明了在保持线性复杂度的同时，利用稀疏激活机制进一步提升模型容量和训练效率是可行的路径。

六、大模型微调方法：鲁棒适应（RoSA）

论文链接： https://arxiv.org/pdf/2401.04679v1.pdf

本文研究了参数高效的微调（PEFT）方法，该方法可以在大型语言模型（LLM）的背景下在有限的计算和内存预算下提供良好的准确性。

为此，本文提出了一种称为鲁棒适应（RoSA）的新 PEFT 方法，其灵感来自于鲁棒主成分分析（PCA）。该方法在一组固定的预训练权重之上联合训练文本和高度稀疏组件，以有效地近似全精细的性能调谐（FFT）解决方案。RoSA 的核心思想是通过稀疏化约束来捕捉关键参数更新方向，从而减少参数量。

在一系列具有挑战性的生成任务中，例如小学数学和 SQL 查询生成，这些任务需要微调才能获得良好的性能，在相同的参数预算下，RoSA 的性能优于 LoRA 和纯稀疏微调。这表明在特定任务场景下，针对稀疏结构的优化设计能带来更好的泛化能力。

七、线性注意力：Lightning Attention-2

论文链接： https://arxiv.org/pdf/2401.04658v1.pdf

线性注意力是一种有效的注意力机制，最近已经成为传统 softmax 注意力的一个有前途的替代方案。凭借其在线性计算复杂度中处理令牌的能力，线性注意力在理论上可以处理无限长度的序列而不牺牲速度，即对于具有固定存储器消耗的各种序列长度保持恒定的训练速度。

然而，由于累积求和（cumsum）的问题，目前的线性注意力算法无法在因果设置中证明其理论优势。在本文中，提出了 Lightning Attention-2，这是第一个线性注意力实现，使线性注意力能够实现其理论计算优势。

为了实现这一点，利用平铺的思想，在线性注意力计算中分别处理块内和块间分量。具体来说，利用传统的注意力计算机制的帧内块和应用线性注意力内核技巧的块间。通过向前和向后的程序采用平铺技术，以充分利用 GPU 硬件，无论输入序列长度如何，都比其他注意力机制快得多。这解决了线性注意力在实际因果生成任务中的应用瓶颈。

八、LoRA 链：迭代优化框架

论文链接： https://arxiv.org/pdf/2401.04151v1.pdf

微调是为特定任务定制预训练的大模型的主要方法。随着模型规模和任务多样性的扩大，参数高效的微调方法至关重要。最广泛使用的方法之一是低秩自适应（LoRA）及其变体。LoRA 将权重更新编码为两个低秩矩阵的乘积。

尽管 LoRA 具有优势，但在某些任务的泛化误差方面，它缺乏全参数微调的效果。本文引入了 LoRA 链（COLA），这是一种受 Frank-Wolfe 算法启发的迭代优化框架，可以弥合 LoRA 和全参数微调之间的差距，而不会产生额外的计算成本或内存开销。

COLA 采用剩余学习过程，将学习到的 LoRA 模块合并到预训练的语言模型参数中，并重新初始化新生成的 LoRA 模块。在各种模型（OPT 和 llama-2）和七个基准测试任务中，证明了 COLA 可以在不增加计算或内存成本的情况下始终优于 LoRA。这为 LoRA 类方法的性能上限提升提供了新的思路。

九、实体关系提取：基于跨度的新方法

论文链接： https://arxiv.org/pdf/2401.01326v1.pdf

信息抽取是 NLP 的基础任务之一。在本文中，作者提出了一种从非结构化文本中提取联合实体和关系的新方法。

与从左到右的标记级生成器的传统生成信息提取模型相比，该方法是基于跨度的。具体来说，它生成一个线性化图，其中节点表示文本跨度，边表示关系三元组。本文方法采用 Transformer 编码器 - 解码器架构，具有跨度和关系类型的动态词汇表的指向机制。

本文模型可以通过跨度表示捕获实体和关系的结构特征和边界，同时借助指向机制将生成的输出基于原始文本。在基准数据集的评估了本文方法的有效性。这种方法减少了错误传播，提高了联合抽取的准确率，特别适用于复杂的文档理解场景。

十、大模型幻觉综述：安全部署的关键

论文链接： https://arxiv.org/pdf/2401.01313v1.pdf

随着大型语言模型（LLM）在编写类似人类文本的能力方面不断进步，一个关键的挑战仍然是它们倾向于产生看似事实但毫无根据的内容。这种幻觉问题可以说是将这些强大 LLM 安全部署到影响人们生活的现实生产系统中的最大障碍。

在实际环境中广泛采用 LLM 的旅程在很大程度上依赖于解决和减轻幻觉。与专注于有限任务的传统人工智能系统不同，LLM 在训练期间接触了大量在线文本数据。虽然这使他们能够表现出令人印象深刻的语言流畅性，但也意味着他们能够从训练数据的偏差中推断出信息，误解不明确的提示，或者修改信息以表面上与输入保持一致。当我们依赖语言生成功能来实现敏感应用程序（例如总结医疗记录、财务分析报告等）时，这就变得非常令人担忧。

本文对超过 32 种为减轻 LLM 的幻觉而开发的技术进行了全面调查研究。其中值得注意的是检索增强生成（RAG）、知识检索、CoNLI 和 CoVe 等。此外，本文引入了一个详细的分类法，根据各种参数对这些方法进行分类，例如数据集利用率、常见任务、反馈机制和检索器类型。这种分类有助于区分专门为解决 LLM 的幻觉问题而设计的不同方法，为后续研究提供了清晰的路线图。

总结与展望

综上所述，这 10 篇论文反映了 2024 年大模型研究的几个核心趋势：

1. 效率优先：无论是 RoSA、BitFit 还是 LoRA Chain，都致力于在有限的计算资源下逼近全参数微调的效果。
2. 架构创新：MoE-Mamba 和 Linear Attention 展示了超越传统 Transformer 架构的可能性，追求更低的复杂度和更高的扩展性。
3. 系统集成：DistAttention 和混合模型策略强调了系统工程层面的优化，通过分布式计算和模型集成来解决单一模型的局限性。
4. 可靠性提升：针对幻觉问题的综述和实体关系提取的改进，表明业界正更加重视模型输出的准确性和安全性。

这些研究成果共同推动了大模型技术向更高效、更可靠、更易用的方向发展，为未来的 AI 应用奠定了坚实基础。