DeepSeek 各版本说明与优缺点分析

DeepSeek - V2 和 DeepSeek - V2.5 分别与 ChatGPT4o - latest 和 ChatGPT4o mini 进行通用能力对比测试：

• DeepSeek - V2.5 vs ChatGPT4o - latest：胜率为 43%，平局率为 8%，败率为 49%。
• DeepSeek - V2 vs ChatGPT4o - latest：胜率为 31%，平局率为 8%，败率为 61%。
• DeepSeek - V2.5 vs ChatGPT4o mini：胜率为 66%，平局率为 9%，败率为 25%。
• DeepSeek - V2 vs ChatGPT4o mini：胜率为 53%，平局率为 9%，败率为 38%。

在与 ChatGPT4o 系列模型的对比中，DeepSeek - V2.5 整体表现优于 DeepSeek - V2。

在代码方面，DeepSeek-V2.5 保留了 DeepSeek-Coder-V2-0724 强大的代码能力。在 HumanEval Python 和 LiveCodeBench 测试中，显示了较为显著的改进。另外，在 FIM 补全任务上，内部评测集 DS-FIM-Eval 的评分提升了 5.1%。

特点

DeepSeek-V2.5 在前一个版本的基础上进行了一些关键性改进，尤其是在数学推理和写作领域。同时，该版本加入了联网搜索功能，能够实时分析海量网页信息。

优势

• 数学和写作能力提升：在复杂的数学问题和创作写作方面表现优异。
• 联网搜索功能：通过联网，模型可以抓取最新的网页信息，提升模型的实时性和信息广度。

缺点

• API 限制：虽然具备联网搜索能力，但 API 接口不支持该功能，影响了一些用户的实际应用场景。
• 多模态能力依然有限：在多模态任务上仍然存在局限性。

DeepSeek-V2.5 现已开源到 HuggingFace： https://huggingface.co/deepseek-ai/DeepSeek-V2.5

4. DeepSeek-R1-Lite 系列：推理模型预览版上线

发布时间

2024 年 11 月 20 日

DeepSeek-R1-Lite 预览版模型在美国数学竞赛（AMC）中难度等级最高的 AIME 以及全球顶级编程竞赛（codeforces）等权威评测中，均取得了卓越的成绩，大幅超越了 GPT-4o 等知名模型。

下表为 DeepSeek-R1-Lite 在各项相关评测中的得分结果：

DeepSeek - R1 - Lite - Preview 在数学竞赛和世界级编程竞赛的测试任务中表现突出，但在理工科博士生测试、自然语言解谜等任务中，OpenAI o1 - preview 得分更优。

根据官网消息，DeepSeek-R1-Lite 的推理过程长，并且包含了大量的反思和验证。

由上图可以看出：

• DeepSeek - R1 - Lite - Preview 的准确率随着平均 token 量的增加而显著提升。
• 在一次通过（Pass@1）情况下，DeepSeek - R1 - Lite - Preview 在平均 token 量达到一定程度时，准确率也高于 OpenAI o1 - preview 的 44.2%。

特点

使用强化学习训练，推理过程包含大量反思和验证，思维链长度可达数万字，在数学和编程等需要长逻辑链条的任务中具备优势。

优点

• 推理能力强：在一些高难度的数学和代码任务中表现优异，甚至在某些任务上超过了 OpenAI 的 o1。
• 思考过程详细：在答题时不仅提供答案，还会附上详细的思考过程和反向思考的验证过程。
• 性价比高：所属公司 DeepSeek 产品以开源为主，其模型训练成本远低于行业主流模型。

缺点

• 代码生成表现不稳定：在生成一些相对简单的代码时表现不如预期。
• 知识引用能力不足：在处理一些需要现代知识引用的复杂测试时，未能达到令人满意的效果。
• 语言交互问题：使用过程中可能出现中英文思考、输出混乱的问题。

5. DeepSeek-V3 系列：大规模模型与推理速度提升

发布时间

2024 年 12 月 26 日

作为深度求索公司自主研发的首款混合专家（MoE）模型，其拥有 6710 亿参数，激活 370 亿，在 14.8 万亿 token 上完成了预训练。

DeepSeek-V3 多项评测成绩超越了 Qwen2.5-72B 和 Llama-3.1-405B 等其他开源模型，并在性能上和世界顶尖的闭源模型 GPT-4o 以及 Claude-3.5-Sonnet 不分伯仲。

DeepSeek - V3 在 MMLU - Pro、MATH 500、Codeforces 任务测试中表现突出；在 GPQA Diamond、SWE - bench Verified 任务中也有不错表现。

模型架构与参数

• DeepSeek - V3：采用 MoE 架构，激活参数 37B，总参数 671B。
• Qwen2.5 - 72B - Inst：Dense 架构，激活参数 72B，总参数 72B。
• Llama3.1 - 405B - Inst：Dense 架构，激活参数 405B，总参数 405B。

英文测试集表现

• MMLU 相关：DeepSeek - V3 在 MMLU - EM、MMLU - Redux EM、MMLUPro - EM 测试中，成绩分别为 88.5、89.1、75.9。
• DROP：DeepSeek - V3 得分为 91.6，领先于其他模型。
• GPQA - Diamond：DeepSeek - V3 得分 59.1，仅次于 Claude - 3.5 - Sonnet - 1022 的 65。

代码测试集表现

• HumanEval - Mul：DeepSeek - V3 得分为 82.6，表现较好。
• LiveCodeBench：在 LiveCodeBench (Pass@1 - COT) 和 LiveCodeBench (Pass@1) 测试中，DeepSeek - V3 分别为 40.5、37.6。

数学测试集表现

• AIME 2024：DeepSeek - V3 得分为 39.2，高于 Qwen2.5 - 72B - Inst、Llama3.1 - 405B - Inst、Claude - 3.5 - Sonnet - 1022。
• MATH - 500：DeepSeek - V3 得分为 90.2，优势明显。

中文测试集表现

• CLUEWSC：DeepSeek - V3 得分为 90.9，和其他模型成绩接近。
• C - Eval 等：在 C - Eval、C - SimpleQA 测试中，DeepSeek - V3 分别为 86.5、64.1。

总体来看，DeepSeek - V3 在多个测试集上有不错表现，在 DROP、MATH - 500 等测试中优势明显。

特点

DeepSeek-V3 是该系列中的一个里程碑版本，专注于知识类任务和数学推理，性能大幅度提升。V3 引入了原生 FP8 权重，支持本地部署，并且推理速度大幅提升，生成吐字速度从 20TPS 提升至 60TPS。

优势

• 强大的推理能力：凭借 6710 亿参数，DeepSeek-V3 在知识推理和数学任务方面展现出卓越的表现。
• 高生成速度：每秒生成 60 个字符（TPS）的速度使得 V3 能够满足对响应速度要求高的应用场景。
• 本地部署支持：通过 FP8 权重的开源，用户可以在本地部署，降低对云服务的依赖，提升数据隐私性。

缺点

• 高训练资源需求：虽然推理能力大幅提升，但 V3 需要大量的 GPU 资源进行训练，这使得其部署和训练的成本较高。
• 多模态能力不强：和多模态任务（如图像理解）方面未做专门优化，仍有一定的短板。

下面附上 V3 模型的论文链接，供大家参考学习。 论文链接：https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

6. DeepSeek-R1 系列：强化学习与科研应用

发布时间

2025 年 1 月 20 日

DeepSeek-R1 一经发布就备受瞩目，秉持着开源的原则，遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。

开源协议层面

MIT License 是一种宽松的开源软件许可协议。这意味着 DeepSeek - R1 以非常开放的姿态面向广大开发者和用户。

• 使用自由：可以在任何个人项目、商业项目等各种场景中自由使用 DeepSeek - R1 模型。
• 修改自由：能够对 DeepSeek - R1 的代码、模型架构等进行修改和定制。
• 分发自由：可以将基于 DeepSeek - R1 修改或未修改的版本进行分发。

模型训练与技术应用层面

允许用户通过蒸馏技术借助 R1 训练其他模型，这具有很高的技术价值和应用潜力。

• 模型轻量化：蒸馏技术可以将大型的 DeepSeek - R1 模型的知识迁移到小型模型上。
• 个性化定制：用户可以根据自身特定的任务需求，以 DeepSeek - R1 为基础，通过蒸馏训练出更适配该任务的模型。
• 促进技术创新：这种方式为研究人员和开发者提供了一个强大的工具和起点。

并且 DeepSeek-R1 上线 API，对用户开放思维链输出，通过设置 model='deepseek-reasoner' 即可调用。

据官网信息透漏，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。

从上图可以看出，在 Codeforces、MATH - 500、SWE - bench Verified 测试中，DeepSeek - R1 或 DeepSeek - R1 - 32B 表现突出；在 AIME 2024、GPQA Diamond、MMLU 测试中，OpenAI - o1 - 1217 表现较好。

但是在蒸馏小模型的对比上，R1 模型超越 OpenAI o1-mini。

在官方在开源的数据中 DeepSeek-R1-Zero 和 DeepSeek-R1 两个 660B 模型的同时，通过 DeepSeek-R1 的输出，蒸馏了 6 个小模型开源给社区，其中 32B 和 70B 模型在多项能力上实现了对标 OpenAI o1-mini 的效果。

模型及表现

• GPT - 4o - 0513：在各测试集得分相对均衡。
• Claude - 3.5 - Sonnet - 1022：在各测试表现较稳定。
• o1 - mini：在多个测试集表现突出。
• DeepSeek - R1 - Distill - Qwen 系列：随着参数增大，在多数测试集成绩总体提升。
• DeepSeek - R1 - Distill - Llama 系列：在多项测试表现不错。

总结

从表格看，o1 - mini 在 CodeForces 竞赛评分上优势明显；DeepSeek - R1 蒸馏的大参数模型在数学和编程相关测试集表现较好。

特点

DeepSeek-R1 是系列中的最新版本，通过强化学习（RL）技术，优化了模型的推理能力。R1 版本推理能力接近 OpenAI 的 O1，并且遵循 MIT 许可证，支持模型蒸馏。

优势

• 强化学习优化推理能力：利用强化学习技术，R1 能够在推理任务中展现出比其他版本更强的表现。
• 开源支持与科研应用：R1 完全开源，支持科研人员、技术开发者进行二次开发。

缺点

• 多模态能力不足：尽管在推理能力上有显著提升，但在多模态任务的支持方面仍未得到充分优化。
• 应用场景受限：R1 主要面向科研、技术开发和教育领域，其在商业化应用和实际操作中的适用场景相对较窄。

R1 论文链接已放在下面，供大家学习参考。 论文链接：https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

结语

DeepSeek 系列的不断迭代和升级，体现了其在自然语言处理、推理能力和应用生态等方面的持续进步。每个版本都有其独特的优势和适用场景，用户可以根据自身需求选择最适合的版本。随着技术的不断发展，未来 DeepSeek 可能会在多模态支持、推理能力等方面继续取得突破，值得期待。