DeepSeek R1 模型本地部署与 API 集成实践

3.2 Distilled Model Evaluation

DeepSeek 此次发布了 R1-Zero、R1 以及多个蒸馏后的小模型。以下是它们的性能对比：

从表中可以看出，R1 蒸馏后的小模型在推理能力上显著超越了原始的 Qwen2.5 和 Llama 模型，展现了 R1 推理模式的高效迁移性。

四、DeepSeek R1 模型的本地部署

DeepSeek R1 蒸馏出的 1.5B、7B、8B、14B 等小模型非常适合在本地部署，尤其适合资源有限的中小企业和开发者。以下是常用的部署工具和方法。

4.1 硬件与环境要求

在开始部署前，请确保您的机器满足以下基本要求：

• 操作系统：Linux (Ubuntu 20.04+), macOS (Apple Silicon/Intel), Windows 10/11。
• 内存 (RAM)：建议至少 16GB，运行大参数模型需更高。
• 显存 (VRAM)：若使用 GPU 加速，7B 模型建议 8GB+，70B 模型建议 24GB+。
• 网络：用于下载模型权重文件。

4.2 工具推荐

• Ollama：一个开源的大型语言模型服务工具，支持多 GPU 配置、热加载模型和与 OpenAI 兼容的 API 接口，适合快速部署和运行大规模预训练语言模型。
• vLLM：支持 FP8 和 BF16 推理模式，适合高吞吐量的推理任务。
• LMDeploy：支持本地和云部署，提供高效的 FP8 和 BF16 推理支持。
• TensorRT-LLM：支持 INT4/8 量化，适合需要极致性能的场景。
• SGLang：完全支持 BF16 和 FP8 推理模式，适合多令牌预测任务。

注：本文章主要使用 Ollama 部署 DeepSeek R1。

4.3 安装 Ollama

首先，我们需要让 Ollama 在您的计算机上启动并运行。方法如下：访问 Ollama 官网并下载与您的操作系统匹配的版本。下载后，运行安装程序并按照提示操作。

curl -fsSL https://ollama.com/install.sh | sh

4.4 验证 Ollama 安装

在我们继续之前，让我们确保 Ollama 已正确安装。打开终端或命令提示符并输入：

ollama --version

注：如果您看到弹出版本号，那么您就成功了！如果没有，请仔细检查您是否正确遵循了安装步骤。

4.5 下载 Deepseek R1

Ollama 让下载 Deepseek R1 变得轻而易举。只需在终端中运行以下命令：

ollama run deepseek-r1

这可能需要一段时间，具体取决于您的互联网速度。

4.6 运行 Deepseek R1

下载完成后，您就可以启动 Deepseek R1。根据硬件配置选择不同版本：

# Default 7B model (4.7GB - ideal for consumer GPUs)
ollama run deepseek-r1

# Larger 70B model (requires 24GB+ VRAM)
ollama run deepseek-r1:70b

# Actual DeepSeek-R1 (requires 336GB+ VRAM for 4-bit quantization)
ollama run deepseek-r1:671b

4.7 设置 Open Web UI（私有接口）

为了获得更好的交互体验，可以部署 Open Web UI。确保你的机器上安装了 Docker，然后通过在终端上运行来安装：

docker run -d -p 3000:8080 \
    --add-host=host.docker.internal:host-gateway \
    -v open-webui:/app/backend/data \
    --name open-webui \
    --restart always \
    ghcr.io/open-webui/open-webui:main

访问 http://localhost:3000 并选择 deepseek-r1:latest。所有数据都保留在你的机器上 - 没有云跟踪或数据泄露。

五、试用一下 Deepseek R1

让我们尝试让模型创建一个贪吃蛇游戏。模型执行了所有思路以获得最佳响应。确实，它所花费的时间可能较长，但至少我们得到了模型更高效的响应。

它做得很不错，但花了将近 3 分钟！这体现了长链推理带来的思考时间成本，但在复杂任务中这是值得的。

六、将 DeepSeek-R1 集成到你的项目中

有两种集成方法。第一种是使用 DeepSeek-R1 本地部署（如上一节所示），第二种是使用 DeepSeek 服务器的云 API（可用于生产环境）。

6.1 本地部署（隐私优先）

使用你的 Ollama 实例作为 OpenAI 兼容端点。这种方式数据不出本地，安全性高。

import openai

# Connect to your local Ollama instance
client = openai.Client(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # Authentication-free private access
)

response = client.chat.completions.create(
    model="deepseek-r1:XXb", # change the "XX" by the distilled model you choose
    messages=[{"role": "user", "content": "Explain blockchain security"}],
    temperature=0.7,  # Controls creativity vs precision
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

注意：在生产环境中，建议对本地 API 进行鉴权保护，避免未授权访问。

6.2 使用官方 DeepSeek-R1 云 API

对于可扩展的应用程序，请使用 DeepSeek 的官方 API。你可以在此处通过创建帐户并生成一个密钥来获取 DeepSeek API 密钥。

import openai
from dotenv import load_dotenv
import os

load_dotenv()

client = openai.OpenAI(
    base_url="https://api.deepseek.com/v1",
    api_key=os.getenv("DEEPSEEK_API_KEY")
)

response = client.chat.completions.create(
    model="deepseek-reasoner",
    messages=[{"role": "user", "content": "Write web scraping code with error handling"}],
    max_tokens=1000,  # Limit costs for long responses
    temperature=0.7
)

print(response.choices[0].message.content)

安全建议：切勿将 API Key 硬编码在代码中，应使用环境变量管理敏感信息。

七、总结

DeepSeek R1 的发布标志着国产 AI 技术的又一次重大突破。其强大的推理能力、开源生态以及高性价比的 API 服务，为全球开发者和企业提供了全新的选择。随着 R1 及其蒸馏版本的广泛应用，AI 技术的普及与创新将迎来新的高潮。

在实际应用中，开发者应根据自身需求选择合适的模型规模（蒸馏版 vs 原版）和部署方式（本地 vs 云端）。对于注重数据隐私的场景，本地部署是首选；对于需要高并发和易扩展的场景，云端 API 更为合适。