DeepSeek-V2：强大、经济、高效的混合专家语言模型 github页面

DeepSeek-V2：强大、经济、高效的混合专家语言模型

1. 简介

今天我们来介绍 DeepSeek-V2，这是一个强大的混合专家 (MoE) 语言模型，具有训练经济、推理高效的特点。它总共包含 236B 参数，其中每个 token 激活 21B。与 DeepSeek 的 67B 相比，DeepSeek-V2 实现了更强的性能，同时节省了 42.5% 的训练成本，减少了 93.3% 的 KV 缓存，并将最大生成吞吐量提升至 5.76 倍。

我们在一个包含 8.1 万亿个 token 的多样化高质量语料库上对 DeepSeek-V2 进行了预训练。在进行全面的预训练之后，我们进行了监督微调 (SFT) 和强化学习 (RL)，以充分发挥模型的功能。评估结果验证了我们方法的有效性，因为 DeepSeek-V2 在标准基准和开放式生成评估中都取得了出色的表现。

2. 新闻

• 2024.05.16：我们发布了DeepSeek-V2-Lite。
• 2024.05.06：我们发布了DeepSeek-V2。

3. 模型下载

由于 HuggingFace 的限制，开源代码目前在使用 Huggingface 的 GPU 上运行时性能比我们的内部代码库慢。为了促进我们模型的高效执行，我们提供了专用的 vllm 解决方案，以优化性能以有效运行我们的模型。

4.评估结果

基础模型

标准基准（大于 67B 的模型）

标准基准（小于 16B 的模型）

有关更多评估细节，例如小样本设置和提示，请查看我们的论文。

上下文窗口

(NIAH) 测试的评估结果Needle In A Haystack。DeepSeek-V2 在高达128K的所有上下文窗口长度上均表现良好。

聊天模型

标准基准（大于 67B 的模型）

标准基准（小于 16B 的模型）

英语开放式生成评估

我们在 AlpacaEval 2.0 和 MTBench 上评估了我们的模型，显示了 DeepSeek-V2-Chat-RL 在英语对话生成方面的竞争性能。

中国开放式世代评估

Alignbench（）

编码基准

我们在 LiveCodeBench (0901-0401) 上评估了我们的模型，这是一个专为实时编码挑战而设计的基准。如图所示，DeepSeek-V2 在 LiveCodeBench 中表现出了相当高的熟练度，获得了超越其他几个复杂模型的 Pass@1 分数。这一表现凸显了该模型在处理实时编码任务方面的有效性。

5.模型架构

DeepSeek-V2 采用创新架构，保证经济的训练和高效的推理：

• 对于注意力，我们设计了 MLA（多头潜在注意力），它利用低秩键值联合压缩来消除推理时间键值缓存的瓶颈，从而支持高效推理。
• 对于前馈网络（FFN），我们采用 DeepSeekMoE 架构，这是一种高性能 MoE 架构，能够以更低的成本训练更强大的模型。

6. 聊天网站

您可以在DeepSeek的官方网站上与DeepSeek-V2聊天：

7. API 平台

我们还在 DeepSeek 平台上提供与 OpenAI 兼容的 API：。注册即可获得数百万个免费代币。您还可以以无与伦比的价格按使用量付费。

8. 如何在本地运行

要利用 BF16 格式的 DeepSeek-V2 进行推理，需要 80GB*8 GPU。

使用 Huggingface 的 Transformers 进行推理

您可以直接使用进行模型推理。

文本完成   import torch from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig model_name = "deepseek-ai/DeepSeek-V2" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) # `max_memory` should be set based on your devices max_memory = {i: "75GB" for i in range(8)} # `device_map` cannot be set to `auto` model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager") model.generation_config = GenerationConfig.from_pretrained(model_name) model.generation_config.pad_token_id = model.generation_config.eos_token_id text = "An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is" inputs = tokenizer(text, return_tensors="pt") outputs = model.generate(**inputs.to(model.device), max_new_tokens=100) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(result)

聊天完成   import torch from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig model_name = "deepseek-ai/DeepSeek-V2-Chat" tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) # `max_memory` should be set based on your devices max_memory = {i: "75GB" for i in range(8)} # `device_map` cannot be set to `auto` model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager") model.generation_config = GenerationConfig.from_pretrained(model_name) model.generation_config.pad_token_id = model.generation_config.eos_token_id messages = [ {"role": "user", "content": "Write a piece of quicksort code in C++"} ] input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt") outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100) result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True) print(result)

完整的聊天模板可以在tokenizer_config.jsonhuggingface 模型库中找到。

聊天模板示例如下：  <｜begin▁of▁sentence｜>User: {user_message_1} Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2} Assistant:

您还可以添加可选的系统消息：  <｜begin▁of▁sentence｜>{system_message} User: {user_message_1} Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2} Assistant:

使用 vLLM 进行推理（推荐）

要利用进行模型推理，请将此 Pull Request 合并到您的 vLLM 代码库中：。  from transformers import AutoTokenizer from vllm import LLM, SamplingParams max_model_len, tp_size = 8192, 8 model_name = "deepseek-ai/DeepSeek-V2-Chat" tokenizer = AutoTokenizer.from_pretrained(model_name) llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True) sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id]) messages_list = [ [{"role": "user", "content": "Who are you?"}], [{"role": "user", "content": "Translate the following content into Chinese directly: DeepSeek-V2 adopts innovative architectures to guarantee economical training and efficient inference."}], [{"role": "user", "content": "Write a piece of quicksort code in C++."}], ] prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list] outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params) generated_text = [output.outputs[0].text for output in outputs] print(generated_text)

LangChain 支持

由于我们的 API 与 OpenAI 兼容，您可以轻松地在中使用它。以下是一个例子：

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
    model='deepseek-chat',
    openai_api_key=<your-deepseek-api-key>,
    openai_api_base='https://api.deepseek.com/v1',
    temperature=0.85,
    max_tokens=8000)
</code></span></span></span></span>

9. 许可

本代码库遵循。DeepSeek-V2 Base/Chat 模型的使用受约束。DeepSeek-V2 系列（包括 Base 和 Chat）支持商业使用。

10. 引用

<span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><span style="color:#1f2328"><span style="color:var(--fgColor-default, var(--color-fg-default))"><span style="background-color:var(--bgColor-muted, var(--color-canvas-subtle))"><code>@misc{deepseekv2,
      title={DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model}, 
      author={DeepSeek-AI},
      year={2024},
      eprint={2405.04434},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}
</code></span></span></span></span>

11. 联系方式

如果您有任何疑问，请提出问题或通过联系我们。