DeepSeek-V3 是一款拥有 671B 参数的混合专家（MoE）语言模型，采用多头潜在注意力（MLA）和 DeepSeekMoE 架构。模型在 14.8 万亿 tokens 上预训练，支持 FP8 混合精度训练，显著降低训练成本至 558 万美元。通过无辅助损失负载均衡策略和 multi-token 预测目标提升性能。后训练阶段从 DeepSeek-R1 提取推理能力。综合评估显示其性能超越多数开源模型，媲美 GPT-4o 等闭源模型，尤其在代码和数学领域表现突出。
研究团队推出了 DeepSeek-V3，这是一个强大的混合专家（MoE）语言模型，共有 671B 参数，每个 token 激活 37B 参数。
为了实现高效推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中已得到充分验证。
此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了 multi-token 预测训练目标，以提升性能。
在 14.8 万亿个多样且高质量的 tokens 上对 DeepSeek-V3 进行预训练，随后通过监督微调（SFT）与强化学习（RL），充分挖掘其能力。
综合评估表明，DeepSeek-V3 超越了其他开源模型，性能可与领先的闭源模型相媲美。
性能卓越的同时，DeepSeek-V3 的完整训练仅需 278.8 万 H800 GPU hour。
此外，训练过程极为稳定，在整个训练过程中，未出现任何不可恢复的损失峰值，也无需进行任何回滚操作。
开源模型取得重大进展，包括 DeepSeek 系列、LLaMA 系列、Qwen 系列以及 Mistral 系列，它们致力于缩小与闭源模型的差距。
为了进一步拓展开源模型的能力边界，团队对模型进行了扩展，并推出了 DeepSeek-V3，这是一个拥有 671B 参数的 MoE 模型，其中每个 token 激活 37B 参数。
从长远来看，团队始终追求强大的模型性能和经济的成本。因此，在架构方面，DeepSeek-V3 仍采用 MLA 以实现高效推理，并采用 DeepSeekMoE 以实现经济高效的训练。
这两种架构在 DeepSeek-V2 中已得到验证，证明了它们在保持强大模型性能的同时，能够实现高效训练和推理。除了基本架构，团队还实施了另外两项策略来进一步提升模型能力。
首先，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，旨在最小化因鼓励负载均衡而对模型性能产生的不利影响。
其次，DeepSeek-V3 采用了 multi-token 预测训练目标，这有助于提高评估基准的整体性能。
为了实现高效训练，支持 FP8 混合精度训练，并对训练框架进行了全面优化。低精度训练已成为高效训练的一种有前景的解决方案，其发展与硬件能力的进步密切相关。
在这项工作中，引入了 FP8 混合精度训练框架，并首次在超大规模模型上验证了其有效性。通过支持 FP8 计算和存储，实现了加速训练并减少了 GPU 内存使用。
对于训练框架，团队设计了 DualPipe 算法以实现高效的流水线并行，该算法减少了 pipeline bubbles，并通过计算与通信重叠隐藏了训练过程中的大部分通信开销。
此外，还开发了高效的跨节点全对全通信内核，以充分利用 InfiniBand（IB）和 NVLink 带宽。精心优化了内存占用，使得无需使用昂贵的张量并行即可训练 DeepSeek-V3。
预训练期间，在 14.8 万亿个高质量且多样的 tokens 上训练 DeepSeek-V3。预训练过程非常稳定，在整个训练过程中，没有遇到任何不可恢复的损失峰值，也无需回滚。
接下来，对 DeepSeek-V3 进行了两阶段的上下文长度扩展。在第一阶段，最大上下文长度扩展到 32K，在第二阶段，进一步扩展到 128K。之后对 DeepSeek-V3 的基础模型进行了后训练，包括 SFT 和 RL，以使其与人类偏好保持一致，并进一步释放其潜力。在后训练阶段，从 DeepSeekR1 系列模型中提取推理能力，并同时保持模型准确性和生成长度之间的平衡。
本文在一系列综合基准上评估了 DeepSeek-V3。尽管训练成本具有经济性，但综合评估表明，DeepSeek-V3-Base 已成为目前最强的开源基础模型，特别是在代码和数学方面。其聊天版本也优于其他开源模型，并在一系列标准和开放式基准上媲美领先的闭源模型。
最后，再次强调 DeepSeek-V3 的经济训练成本，如表 1 所示。
在预训练阶段，在每万亿 tokens 上训练 DeepSeek-V3 仅需 18 万 H800 GPU hour，即拥有 2048 个 H800 GPU 的集群上仅需 3.7 天。
因此，预训练阶段在不到两个月的时间内完成，耗时 266.4 万 GPU hour。结合 11.9 万 GPU hour 的上下文长度扩展和 5000 GPU hour 的后训练，DeepSeek-V3 的完整训练仅需 278.8 万 GPU hour。
假设 H800 GPU 的租用价格为每 GPU hour 2 美元，该模型的总训练成本仅为 557.6 万美元。
请注意，上述成本仅包括 DeepSeek-V3 的官方训练，不包括先前对架构、算法或数据的研究和消融实验相关成本。
在 DeepSeek-V2 的高效架构基础上，率先采用了无辅助损失的负载均衡策略，最大限度地减少了因鼓励负载均衡而导致的性能下降。
研究了 multi-token 预测（MTP）目标，并证明其对模型性能有益。它还可用于推测解码以加速推理。
设计了一个 FP8 混合精度训练框架，并首次在超大规模模型上验证了 FP8 训练的可行性和有效性。
通过算法、框架和硬件的协同设计，克服了跨节点 MoE 训练中的通信瓶颈，实现了近乎完全的计算通信重叠。这显著提高了训练效率并降低了训练成本，使其能够在不增加额外开销的情况下进一步扩展模型规模。
以仅 266.4 万 H800 GPU hour 的经济成本，在 14.8 万亿 tokens 上完成了 DeepSeek-V3 的预训练，产生了目前最强的开源基础模型。预训练后的后续训练阶段仅需 10 万 GPU hour。
引入了一种创新方法，将推理能力从长思维链（CoT）模型（特别是 DeepSeek R1 系列中的一个模型）提取到标准大语言模型中，尤其是 DeepSeek-V3。
巧妙地将 R1 的验证和反思模式融入 DeepSeek-V3 中，显著提高了其推理性能。同时，我们也保持了对 DeepSeek-V3 输出风格和长度的控制。
知识
（1）在 MMLU、MMLU-Pro 和 GPQA 等基准上，DeepSeek-V3 优于所有其他开源模型，在 MMLU 上达到 88.5，在 MMLU-Pro 上达到 75.9，在 GPQA 上达到 59.1。其性能与领先的闭源模型（如 GPT-4o 和 Claude-Sonnet-3.5）相当，缩小了开源与闭源模型在该领域的差距。
（2）对于事实基准，DeepSeek-V3 在开源模型中在 SimpleQA 和 Chinese SimpleQA 上均表现出色。虽然在英语事实性知识（SimpleQA）方面落后于 GPT-4o 和 Claude-Sonnet-3.5，但在中文事实性知识（Chinese SimpleQA）方面超过了这些模型，突出了其在中文事实性知识方面的优势。
代码、数学和推理
（1）DeepSeek-V3 在所有非长 CoT 开源和闭源模型中在数学相关基准上取得了最先进的性能。值得注意的是，它甚至在特定基准（如 MATH-500）上超过了 o1-preview，展示了其强大的数学推理能力。
（2）在编码相关任务上，DeepSeek-V3 成为编码竞赛基准（如 LiveCodeBench）上表现最佳的模型，巩固了其在该领域的领先地位。对于工程相关任务，虽然 DeepSeek-V3 的性能略低于 Claude-Sonnet-3.5，但仍大幅领先于所有其他模型，展示了其在各种技术基准上的竞争力。
DeepSeek-V3 基于 Transformer 框架，采用 MLA 和 DeepSeekMoE 架构，以实现高效推理和经济训练。同时，引入了无辅助损失的负载均衡策略，以缓解因负载平衡导致的性能下降问题。
MLA 通过对注意力键值进行低秩联合压缩，减少了推理时的 KV 缓存，同时对注意力查询进行低秩压缩，减少了训练时的激活内存。在生成过程中，仅需缓存特定向量，从而显著降低 KV 缓存，同时保持与标准多头注意力相当的性能。
DeepSeekMoE 基本架构：在 Feed-Forward Networks（FFNs）中使用 DeepSeekMoE 架构，该架构采用更细粒度的专家，并隔离出一些共享专家。通过计算输入与专家的亲和力得分，选择激活的路由专家，并对其输出进行加权求和，得到最终的 FFN 输出。
无辅助损失负载均衡策略：为避免专家负载不平衡导致的路由崩溃和计算效率降低，引入了无辅助损失的负载均衡策略。通过为每个专家添加可动态调整的偏差项，根据专家负载情况进行调整，确保训练过程中专家负载平衡，从而提高模型性能。
互补的序列级辅助损失：除无辅助损失策略外，还采用了互补的序列级平衡损失，以防止单个序列内的极端不平衡，鼓励每个序列上的专家负载平衡。
节点受限路由：采用限制路由机制，确保每个 token 最多发送到 M 个节点，从而限制通信成本，使 MoE 训练框架能实现近全计算 - 通信重叠。
No Token-Dropping：由于有效的负载均衡策略，DeepSeek-V3 在训练和推理过程中均不丢弃 tokens，确保了良好的负载平衡。
为 DeepSeek-V3 设定了 MTP 目标，通过 D 个顺序模块预测多个未来 tokens。每个 MTP 模块包含共享的嵌入层、输出头、Transformer 块和投影矩阵，在每个预测深度，将当前 token 表示与未来 token 嵌入组合，经 Transformer 块处理后，由共享输出头计算预测概率。
为每个预测深度计算交叉熵损失，最终得到平均 MTP 损失，并乘以加权因子 λ 作为额外训练目标，以提高训练效果。
MTP 策略主要用于提升主模型性能，推理时可直接丢弃 MTP 模块，主模型仍能正常运行。此外，MTP 模块还可用于推测解码，以进一步减少生成延迟。
主要介绍了 DeepSeek-V3 的基础设施，涵盖计算集群、训练框架、FP8 训练、推理与部署以及对硬件设计的建议，具体内容如下：
DeepSeek-V3 在配备 2048 个 NVIDIA H800 GPU 的集群上进行训练，每个节点含 8 个 GPU，通过 NVLink 和 NVSwitch 实现节点内互联，跨节点则使用 InfiniBand（IB）互联。
DeepSeek-V3 的训练基于 HAI - LLM 框架，采用 16 路流水线并行（PP）、64 路专家并行（EP）和 ZeRO - 1 数据并行（DP）。
为解决跨节点专家并行导致的通信开销问题，设计了 DualPipe 算法。该算法通过重叠计算与通信阶段，减少 pipeline bubbles，提高训练效率。它将每个块分为多个组件，重新排列并调整 GPU 计算与通信资源比例，确保全对全和 PP 通信在执行过程中完全隐藏，且在模型扩展时仍能保持高效。
为确保 DualPipe 的计算性能，定制了高效的跨节点全对全通信内核，与 MoE 选通算法和集群网络拓扑协同设计。通过限制每个 token 的节点分发数量，有效利用 IB 和 NVLink 带宽，重叠 IB 和 NVLink 通信，减少通信开销。内核采用 warp 专业化技术，将 20 个 SM 划分为 10 个通信通道，动态分配 warp 处理通信任务，同时与计算流重叠，减少对其他 SM 计算内核的干扰。
提出 FP8 混合精度训练框架，多数计算密集型操作使用 FP8 精度，部分关键操作保持原格式以平衡训练效率和数值稳定性，同时将主权重、权重梯度和优化器状态存储为高精度，以确保训练稳定。
预填充阶段的最小部署单元为 4 个节点的 32 个 GPU，采用 4 路张量并行（TP4）与序列并行（SP）结合 8 路数据并行（DP8），MoE 部分使用 32 路专家并行（EP32）。通过引入冗余专家部署策略实现负载均衡，同时处理两个微批次以提高吞吐量并隐藏通信开销，还探索了动态冗余策略。
解码阶段最小部署单元为 40 个节点的 320 个 GPU，注意力部分采用 TP4 与 SP 结合 DP80，MoE 部分使用 EP320。将共享专家视为路由专家，每个 token 选择 9 个专家进行路由，通过 IB 进行低延迟的全对全通信，并利用 IBGDA 技术提高效率。定期确定冗余专家，探索动态冗余策略以优化解码过程。
当前计算与通信重叠的实现依赖昂贵的 SM，导致计算吞吐量受限且效率低下。建议未来硬件将通信任务从 SM 卸载，开发 GPU 协处理器或网络协处理器，并统一 IB 和 NVLink 网络接口，降低编程复杂度。
主要介绍了 DeepSeek-V3 的预训练过程，包括数据构建、超参数设置、长上下文扩展、评估以及相关讨论，具体内容如下：
采用与 DeepSeek-V2 类似的方法，在预训练后使用 YaRN 进行上下文扩展，通过两个阶段的训练，逐步将上下文窗口从 4K 扩展到 32K 和 128K，在 'Needle In A Haystack'（NIAH）测试中，DeepSeek-V3 在长上下文场景下表现出色，证明了其处理长输入的能力。
介绍了 DeepSeek-V3 的后训练过程，包括 SFT、RL、评估以及相关讨论，具体内容如下：
使用 SFT 数据集对 DeepSeek-V3-Base 进行两阶段微调，采用余弦退火学习率策略，在训练中对单个序列进行打包处理，并采用样本掩码策略确保样本独立性。
采用 GRPO 方法，该方法无需与策略模型同等规模的评论家模型，而是从组分数中估计基线，通过最大化特定目标函数优化策略模型，在 RL 过程中引入多样化领域的提示，提高模型与人类偏好的一致性和在基准测试中的性能。
本文提出了 DeepSeek-V3，这是一个大型 MoE 语言模型，拥有 671B 总参数和 37B 激活参数，在 14.8T 标记上进行了训练。
除了 MLA 和 DeepSeekMoE 架构外，它还开创了一种用于负载平衡的无辅助损失策略，并设定了一个 multi-tokens 预测训练目标，以获得更强的性能。
由于支持 FP8 训练和精心的工程设计，DeepSeek-V3 的训练具有很高的成本效益。后期训练还成功地提炼了 DeepSeek-R1 系列模型的推理能力。
综合评估表明，DeepSeek-V3 已成为目前最强大的开源模型，其性能可与 GPT-4o 和 Claude-3.5-Sonnet 等领先的闭源模型相媲美。
尽管性能强大，但它的培训成本也很经济。它的全部训练（包括预训练、上下文长度扩展和后训练）只需要 278.8 万 H800 GPU hours。
在肯定 DeepSeek-V3 强大性能和高性价比的同时，还存在一些局限性，尤其是在部署方面。
首先，为了确保高效推理，DeepSeek-V3 推荐的部署单元相对较大，这可能会给小型团队带来负担。
其次，尽管为 DeepSeek V3 制定的部署策略使端到端生成速度达到了 DeepSeek-V2 的两倍多，但仍有进一步提升的潜力。幸运的是，随着更先进硬件的开发，这些局限性有望得到自然解决。
DeepSeek 始终坚持开源模式与长远规划并重的路线，旨在稳步接近 AGI（人工通用智能）的终极目标。未来，团队计划在以下几个方向进行战略性研究投入。
团队将坚持不懈地研究和完善模型架构，旨在进一步提高训练和推理效率，努力实现对无限长上下文的高效支持。此外，我们还将尝试突破 Transformer 的架构限制，从而推动其建模能力的发展。
团队将不断改进训练数据的数量和质量，并探索纳入更多的训练信号源，旨在推动数据在更全面的维度范围内进行扩展。
团队将不断探索和迭代模型的深度思维能力，旨在通过扩展推理长度和深度来提高模型的智能和解决问题的能力。
团队将探索更全面、更多维的模型评估方法，以防止在研究过程中倾向于优化一组固定的基准，从而对模型的能力造成误解，影响我们的基础评估。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
