Snowflake Arctic 开源：4800 亿参数 MoE 模型性能解析

在以往，用 LLM 构建顶级企业 AI 的成本往往高得离谱，通常需要数千万甚至数亿美元的资源投入。Snowflake AI 团队的研究者致力于解决有效训练和推理的限制，团队成员过去曾开源了 ZeRO、DeepSpeed、PagedAttention/vLLM 和 LLM360 等系统，显著降低了 LLM 训练和推理的成本。

Arctic 为具有成本效益的训练设定了新基准，用户可以以极低的成本创建满足企业需求的高质量定制模型。

计算资源对比

团队发现，企业客户对 AI 有着一致的需求和使用场景——构建对话式 SQL 数据助手、代码助手和 RAG 聊天机器人。为了便于评估，团队将这些能力整合到「企业智能」这个单一指标中。

结果显示，Arctic 在企业级评估指标上的表现，与 Llama 3 8B 和 Llama 2 70B 相当，甚至更优，而它所使用的训练计算资源却不到后两者的一半。具体来说，Arctic 使用的计算预算只有 Llama3 70B 的 1/17，但在编程、SQL 和企业级任务上，都与其不相上下。

此外，Arctic 的高训练效率还意味着，Snowflake 客户和整个 AI 社区可以以更加经济实惠的方式训练定制模型。

架构创新

为了实现如此高的训练效率，Arctic 采用了独特的 Dense-MoE Hybrid transformer 架构。该架构将一个 10B 规模的稠密 Transformer 模型与一个 128×3.66B 规模的残差 MoE MLP 相结合，虽然总参数量达到 480B，但通过 top-2 gating 的方式只选择了其中 17B 个参数保持活跃。

Arctic 的设计和训练基于以下三个关键创新：

1. 更多但精炼的专家

MoE（Mixture of Experts）可以在不增加计算成本的情况下，显著提高 LLM 模型的质量。模型质量的提升主要取决于 MoE 模型中专家的数量、总参数量以及这些专家可以组合在一起的方式和数量。Arctic 被设计为拥有 480B 个参数，分布在 128 个细粒度专家中，并使用 top-2 gating 选择 17B 个活跃参数。相比之下，最近的 MoE 模型使用的专家数量就要少得多了。

从直观上看，Arctic 利用更大的总参数量和众多专家来扩大模型容量，同时更明智地在众多精炼的专家中进行选择，并使用适度数量的活跃参数来实现资源高效的训练和推理。

2. 架构和系统协同设计

即便是用最强大的 AI 硬件，想要基于普通的 MoE 架构训练大量专家效率依然很低。其原因在于，专家之间存在的全通信开销非常高昂。不过，如果能将通信与计算重叠，那么就可以极大地降低这种开销。

因此，团队在 Arctic 架构中将一个密集的 Transformer 与一个残差 MoE 组件相结合，从而使系统能够通过通信计算重叠来消除大部分通信开销，最终实现了极佳的训练效率。

3. 面向企业的数据课程

要在代码生成和 SQL 等企业指标上表现出色，需要与训练通用指标的模型截然不同的数据课程。团队在进行了数百次小规模的对比实验后发现，常识推理等通用技能可以在开始时学习，而编码、数学和 SQL 等更复杂的指标可以在训练的后期有效学习。

因此，Arctic 采用了三阶段课程进行训练，每个阶段的数据组成不同：

• 第一阶段（1T Tokens）：侧重于通用技能
• 第二阶段（1.5T Tokens）：侧重于企业级技能
• 第三阶段（1T Tokens）：侧重于企业级技能

推理效率优化

训练效率只是 Arctic 高效的其中一个方面。如果希望低成本部署模型，推理效率也同样至关重要。作为 MoE 模型规模的飞跃，Arctic 使用了比其他开源自回归模型更多的专家和参数。

为了有效地在 Arctic 上运行推理，团队做了一些系统性的创新：

交互式推理优化

在较小 batch 的交互式推理中（比如批大小为 1），MoE 模型的推理延迟受到了读取所有活跃参数所需时间的瓶颈，其中，推理是受内存带宽限制的。在这样的批大小下，Arctic（17B 活跃参数）的内存读取次数比 Code-Llama 70B 少 4 倍，比 Mixtral 8x22B（44B 活动参数）少 2.5 倍，从而实现更快的推理性能。

为此，团队跟英伟达的 TensorRT-LLM 和 vLLM 团队展开合作，为交互式推理提供了 Arctic 的初步实现。通过 FP8 量化，团队可以将 Arctic 放入单个 GPU 节点中。虽然仍远未完全优化，但在批大小为 1 时，Arctic 的吞吐量超过 70+token/秒，这样就实现了有效的交互式服务。

大规模批处理优化

当批大小的规模显著增加，例如每次前向传递要处理数千个 token 时，Arctic 就会从内存带宽受限转变为计算受限，此时推理的瓶颈就在于每个 token 的活跃参数。在这一点上，与 CodeLlama 70B 和 Llama 3 70B 相比，Arctic 的计算需求减少了 4 倍。

为了实现计算受限的推理和与 Arctic 中活跃参数数量较少相对应的高吞吐量，需要较大的 batch size。要实现这一点，需要有足够的 KV 缓存内存来支持较大的 batch size，同时也需要足够的内存来存储近 500B 的模型参数。面对这重重挑战，最终团队还是找到了办法。

通过使用 FP8 权重、分割融合和连续批处理、节点内的张量并行性以及节点间的管线并行性等系统优化组合，团队在双节点推理中，实现了这一目标。

开源与生态

新模型 Arctic 基础模型和指令微调模型代码全部开源，任何人可以将其用于研究、产品、原型当中。研究人员基于 LoRA 的微调的 pipeline 和配方，并允许在单个节点上进行高效的模型微调。

现在，Snowflake 正在与英伟达 TensorRT-LLM 和 vLLM 开展合作，为 Arctic 模型开发初始的推理实现，并且针对批大小为 1 的交互式使用进行了优化。未来，他们还将与社区合作，解决真正大型 MoE 更大的批大小的推理复杂性。

另外，Arctic 现使用的是 4k 上下文窗口进行训练，研究人员还将开发一种基于注意力下沉（attention-sinks）的滑动窗口的方法，以支持未来几周无限序列生成能力。下一步，将会扩展到 32K 上下文窗口。

团队背景

Snowflake 的 CEO Sridhar Ramaswamy 是前谷歌高级副总裁，AI 团队的一把手 Vivek Raghunathan 也是前谷歌副总裁。为了发展 AI，两人把 DeepSpeed 团队最顶尖的几个元老都挖了过来，包括 Zhewei Yao 和 Yuxiong He。Zhewei Yao 在 UC 伯克利获得博士学位，Yuxiong He 是 DeepSpeed 的创始人之一。团队的另一位华人大牛 Aurick Qiao 曾在微软、Dropbox 工作，Hao Zhang 则联合创立了 LMnet.ai 并参与了 LMSYS Org 的维护。这些资深专家的加入为 Arctic 的技术突破提供了坚实保障。

总结

Arctic 的推出标志着开源大模型在企业级应用方向上的重要进展。通过 4800 亿参数 MoE 架构与高效训练策略的结合，它在控制成本的同时实现了卓越的性能。对于希望构建低成本、高性能企业 AI 的团队来说，Arctic 提供了一个极具吸引力的开源选项。