Switch Transformer 概述
Switch Transformer 是 Google 研究团队在 2021 年提出的一种大规模稀疏混合专家（Mixture of Experts, MoE）模型。作为对传统 Transformer 架构的重要演进，它在保持计算效率的同时，成功实现了模型规模的指数级增长。
核心架构与稀疏机制
该模型基于 T5 架构构建，但做出了关键改动：将标准的前馈网络层替换为稀疏 MLP 层，其中包含多个独立的'专家'MLP。与传统 MoE 模型通常采用的 top-k 路由不同，Switch Transformer 采用了更为简洁的 top-1 路由策略。这意味着对于每一个输入 token，系统仅激活一个最匹配的专家网络。这种设计不仅大幅简化了路由算法的逻辑，还显著降低了通信开销。
性能优势与扩展性
Switch Transformer 最引人注目的特性是其极强的可扩展性。得益于稀疏门控机制，模型可以在不显著增加计算复杂度的前提下，轻松扩展至万亿参数级别。在实际测试中，在同等计算资源下，其预训练速度比 T5-XXL 模型快了 4 倍。此外，模型对低精度格式的支持也值得注意，它允许使用 bfloat16 等格式进行训练，进一步提升了训练的稳定性和硬件利用率。在多语言设置下的表现同样出色，在涵盖 101 种语言的基准测试中，其性能优于 mT5-Base。
总结
总体而言，Switch Transformer 提供了一种高效、灵活且易于扩展的模型架构方案。无论是从训练和推理的速度，还是从计算资源的利用率来看，它在固定计算量下都优于密集模型和传统 MoE 模型。这种架构特别适合低资源场景，能够在较低的 expert capacity 下依然保持良好表现，为未来更大规模的语言模型开发提供了重要参考。
