DeepSeek-R1-Distill-Llama-8B 部署实战：基于 Docker Compose 的多模型推理服务

该配置定义了两个服务：ollama 为核心推理服务，api-gateway 为可选的 Nginx 反向代理，用于解决跨域问题。若没有 NVIDIA GPU，请注释掉 deploy.resources 段，并取消 command 行的注释以启用 CPU 模式。

启动服务并拉取模型

进入目录执行以下命令：

# 启动 Ollama 服务
docker-compose up -d ollama

# 等待服务就绪后拉取模型
docker exec -it ollama-deepseek ollama pull deepseek-r1:8b

ollama pull 会自动下载 4-bit 量化版本（约 5.2GB）。可通过 docker logs -f ollama-deepseek 实时查看进度，出现 success 字样即表示就位。

验证服务

使用 curl 发送测试请求：

curl -X POST http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{ "model": "deepseek-r1:8b", "messages": [{ "role": "user", "content": "用一句话解释什么是链式思维？" }], "stream": false }'

返回 JSON 中包含 assistant 角色且内容清晰，说明服务运行正常。若遇 Connection refused，检查容器状态及端口占用；若 model not found，确认模型名拼写无误。

实战调用：从命令行到 Python 脚本

命令行交互

直接通过终端测试提示词效果：

docker exec -it ollama-deepseek ollama run deepseek-r1:8b

输入任意问题即可获得实时输出，适合灵感验证。

Python 脚本集成

在项目中调用服务，示例如下：

import requests
import json

def ask_deepseek(question: str, model: str = "deepseek-r1:8b") -> str:
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": question}],
        "stream": False,
        "options": {
            "temperature": 0.3,
            "num_ctx": 4096
        }
    }
    try:
        response = requests.post(url, json=payload, timeout=120)
        response.raise_for_status()
        data = response.json()
        return data["message"]["content"].strip()
    except Exception as e:
        return f"请求失败：{e}"

if __name__ == "__main__":
    result = ask_deepseek("请用中文解释 Transformer 架构中的自注意力机制。")
    print("DeepSeek-R1 的回答：\n", result)

代码中设置了 timeout=120 防止长生成超时，temperature=0.3 降低随机性，并包含基础异常处理以确保主程序稳定性。

批量处理

利用线程池实现并发请求，提升效率：

import concurrent.futures
import time

questions = [
    "如何判断一个数是否为质数？给出 Python 实现。",
    "解释 HTTP 状态码 401 和 403 的区别。",
    "用 Markdown 写一个简洁的 API 文档模板。"
]

start_time = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    futures = [executor.submit(ask_deepseek, q) for q in questions]
    results = [f.result() for f in concurrent.futures.as_completed(futures)]
end_time = time.time()
print(f"3 个问题总耗时：{end_time - start_time:.2f}秒")

进阶技巧：让模型发挥更大价值

系统提示词控制风格

通过 system 角色强制设定输出风格，可显著提升代码生成的可用性。例如设定 system 为'资深 Python 工程师'，回答将更倾向于直接给出可运行代码而非长篇解释。

多模型并行运行

在同一份 docker-compose.yml 中添加第二个服务实例，修改端口（如 11435），即可同时运行 DeepSeek-R1 和 Qwen2 等不同模型，根据任务类型智能路由。

持久化与备份

配置文件中已挂载 ./ollama_models 到宿主机，模型文件永久保存。切换服务器时，只需复制该文件夹及配置文件，即可快速恢复全部服务。

总结

通过 Docker Compose 一键启动 Ollama 服务，我们屏蔽了底层环境差异，成功运行了 DeepSeek-R1-Distill-Llama-8B 模型。掌握了命令行交互、Python 集成及并发处理三种调用方式，并构建了可备份、可扩展的服务架构。这套方法论同样适用于后续尝试其他新模型，将 AI 服务稳定融入工作流。