DeepSeek-R1-Distill-Llama-8B 部署：Docker Compose 编排多模型推理服务

若无 NVIDIA GPU，请注释掉 deploy.resources 段，并取消 command 行的注释以启用 CPU 模式。

2.3 启动服务并拉取模型

执行以下命令启动服务并拉取模型：

# 启动 Ollama 服务
docker-compose up -d ollama

# 拉取模型
docker exec -it ollama-deepseek ollama pull deepseek-r1:8b

可通过 docker logs -f ollama-deepseek 查看进度，出现 success 字样即表示就位。

2.4 验证服务

使用 curl 发送测试请求：

curl -X POST http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-r1:8b",
    "messages": [
      {"role": "user", "content": "用一句话解释什么是链式思维？"}
    ],
    "stream": false
  }'

若返回包含 assistant 角色的 JSON 响应，则服务运行正常。

3. 实战调用：从命令行到 Python 脚本

3.1 命令行交互

docker exec -it ollama-deepseek ollama run deepseek-r1:8b

直接输入问题即可进行人机对话。

3.2 Python 脚本调用

集成至 Python 项目示例：

import requests
import json

def ask_deepseek(question: str, model: str = "deepseek-r1:8b") -> str:
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": question}],
        "stream": False,
        "options": {
            "temperature": 0.3,
            "num_ctx": 4096
        }
    }
    try:
        response = requests.post(url, json=payload, timeout=120)
        response.raise_for_status()
        data = response.json()
        return data["message"]["content"].strip()
    except Exception as e:
        return f"请求失败：{e}"

if __name__ == "__main__":
    result = ask_deepseek("请用中文解释 Transformer 架构中的自注意力机制。")
    print("DeepSeek-R1 的回答：\n", result)

关键配置包括设置超时避免中断、降低 temperature 提高稳定性、增大上下文窗口。

3.3 批量处理

利用线程池并发发送多个请求以提升效率：

import concurrent.futures
import time

questions = [
    "如何判断一个数是否为质数？给出 Python 实现。",
    "解释 HTTP 状态码 401 和 403 的区别。",
    "用 Markdown 写一个简洁的 API 文档模板。"
]

start_time = time.time()
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    futures = [executor.submit(ask_deepseek, q) for q in questions]
    results = [f.result() for f in concurrent.futures.as_completed(futures)]
end_time = time.time()
print(f"3 个问题总耗时：{end_time - start_time:.2f}秒")

4. 进阶技巧

4.1 提示词优化

通过 system 角色控制输出风格：

{
  "model": "deepseek-r1:8b",
  "messages": [
    {"role": "system", "content": "你是一名资深 Python 工程师，只给代码，不解释原理。"},
    {"role": "user", "content": "写一个函数，把字符串按空格分割，只保留长度大于 2 的单词。"}
  ],
  "stream": false
}

4.2 多模型切换

在同一环境中添加第二个模型服务，修改端口避免冲突：

services:
  ollama-qwen:
    image: ollama/ollama:latest
    container_name: ollama-qwen
    ports:
      - "11435:11434"
    # ... 其他配置同上

分别拉取不同模型，根据任务类型路由请求。

4.3 持久化与备份

通过 volumes 将模型挂载到宿主机目录，确保重装系统不丢失数据。定期备份 ollama_models 文件夹即可迁移服务。

5. 总结

本文完成了以下内容：

• 使用 Docker Compose 一键启动 Ollama 服务；
• 成功拉取并运行 DeepSeek-R1-Distill-Llama-8B；
• 掌握命令行、Python 脚本及并发批量调用方式；
• 学会通过 system 提示控制输出风格；
• 构建可备份、可扩展的模型服务架构。

这套方法论适用于后续尝试 Qwen、Phi 等其他模型，只需修改拉取命令，其余配置通用。