DeepSeek-Coder-V2：打破代码智能闭源模型壁垒

DeepSeek-Coder-V2：打破代码智能闭源模型壁垒

1. 简介

我们提出了 DeepSeek-Coder-V2，这是一个开源的混合专家 (MoE) 代码语言模型，在代码特定任务中实现了与 GPT4-Turbo 相当的性能。具体来说，DeepSeek-Coder-V2 从 DeepSeek-V2 的中间检查点进一步预训练，增加了 6 万亿个 token。通过这种持续的预训练，DeepSeek-Coder-V2 大幅增强了 DeepSeek-V2 的编码和数学推理能力，同时在一般语言任务中保持了相当的性能。与 DeepSeek-Coder-33B 相比，DeepSeek-Coder-V2 在代码相关任务的各个方面以及推理和通用能力方面都有了显著的进步。此外，DeepSeek-Coder-V2 将其对编程语言的支持从 86 种扩展到 338 种，同时将上下文长度从 16K 扩展到 128K。

在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中的表现优于 GPT4-Turbo、Claude 3 Opus 和 Gemini 1.5 Pro 等闭源模型。支持的编程语言列表可找到。

2. 模型下载

我们基于框架发布了参数量分别为16B和236B的DeepSeek-Coder-V2，而DeepSeek-Coder-V2的有效参数量仅为2.4B和21B，包括基础模型和指导模型。

3.评估结果

3.1 代码生成

3.2 代码完成

3.3 代码修复

3.4 数学推理

3.5 通用自然语言

3.6 上下文窗口

(NIAH) 测试的评估结果Needle In A Haystack。DeepSeek-Coder-V2 在高达128K的所有上下文窗口长度上均表现良好。

4. 聊天网站

您可以在DeepSeek的官方网站上与DeepSeek-Coder-V2进行聊天：

5. API 平台

我们还在 DeepSeek 平台上提供与 OpenAI 兼容的 API：，您还可以以无与伦比的价格按使用量付费。

6. 如何在本地运行

这里我们提供了一些如何使用 DeepSeek-Coder-V2-Lite 模型的示例。如果您想使用 BF16 格式的 DeepSeek-Coder-V2 进行推理，则需要 80GB*8 GPU。

使用 Huggingface 的 Transformers 进行推理

您可以直接使用进行模型推理。

代码完成   from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda() input_text = "#write a quick sort algorithm" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_length=128) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

代码插入   from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda() input_text = """<｜fim▁begin｜>def quick_sort(arr): if len(arr) <= 1: return arr pivot = arr[0] left = [] right = [] <｜fim▁hole｜> if arr[i] < pivot: left.append(arr[i]) else: right.append(arr[i]) return quick_sort(left) + [pivot] + quick_sort(right)<｜fim▁end｜>""" inputs = tokenizer(input_text, return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_length=128) print(tokenizer.decode(outputs[0], skip_special_tokens=True)[len(input_text):])

聊天完成   from transformers import AutoTokenizer, AutoModelForCausalLM import torch tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda() messages=[ { 'role': 'user', 'content': "write a quick sort algorithm in python."} ] inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device) # tokenizer.eos_token_id is the id of <｜end▁of▁sentence｜> token outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id) print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

完整的聊天模板可以在tokenizer_config.jsonhuggingface 模型库中找到。

聊天模板示例如下：  <｜begin▁of▁sentence｜>User: {user_message_1} Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2} Assistant:

您还可以添加可选的系统消息：  <｜begin▁of▁sentence｜>{system_message} User: {user_message_1} Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2} Assistant:

在最后一轮对话中，请注意“Assistant:”冒号后没有空格。添加空格可能会导致 16B-Lite 型号出现以下问题：

• 英文问题得到中文解答。
• 响应包含乱码文本。
• 回答重复过多。

旧版本的 Ollama 存在此错误（参见），但最新版本已修复。

使用 vLLM 进行推理（推荐）

要利用进行模型推理，请将此 Pull Request 合并到您的 vLLM 代码库中：。  from transformers import AutoTokenizer from vllm import LLM, SamplingParams max_model_len, tp_size = 8192, 1 model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True) sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id]) messages_list = [ [{"role": "user", "content": "Who are you?"}], [{"role": "user", "content": "write a quick sort algorithm in python."}], [{"role": "user", "content": "Write a piece of quicksort code in C++."}], ] prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list] outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params) generated_text = [output.outputs[0].text for output in outputs] print(generated_text)

7. 许可

本代码库遵循。DeepSeek-Coder-V2 Base/Instruct 模型的使用受约束。DeepSeek-Coder-V2 系列（包括 Base 和 Instruct）支持商业使用。

8. 引用   @article{zhu2024deepseek, title={DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence}, author={Zhu, Qihao and Guo, Daya and Shao, Zhihong and Yang, Dejian and Wang, Peiyi and Xu, Runxin and Wu, Y and Li, Yukun and Gao, Huazuo and Ma, Shirong and others}, journal={arXiv preprint arXiv:2406.11931}, year={2024} }

9. 联系方式