DeepSeek-R1-Distill-Llama-8B 部署：Docker Compose 推理服务

注意：如果没有 NVIDIA GPU，请务必注释掉 deploy.resources 整段，并取消 command 行的注释以启用 CPU 模式。

2.3 启动服务并拉取模型

执行以下命令：

# 第一步：启动 Ollama 服务
docker-compose up -d ollama

# 第二步：等待服务就绪后，拉取模型
docker exec -it ollama-deepseek ollama pull deepseek-r1:8b

ollama pull deepseek-r1:8b 会自动从官方库下载 4-bit 量化版本（约 5.2GB）。可通过 docker logs -f ollama-deepseek 查看进度。

2.4 验证服务

使用 curl 测试：

curl -X POST http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{ "model": "deepseek-r1:8b", "messages": [{ "role": "user", "content": "解释什么是链式思维？" }], "stream": false }'

返回 JSON 中包含 message.content 且内容清晰，即表示成功。

3. 实战调用：三种用法

3.1 命令行交互

docker exec -it ollama-deepseek ollama run deepseek-r1:8b

输入问题即可实时对话。

3.2 Python 脚本调用

import requests

def ask_deepseek(question: str, model: str = "deepseek-r1:8b") -> str:
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": question}],
        "stream": False,
        "options": {"temperature": 0.3, "num_ctx": 4096}
    }
    try:
        response = requests.post(url, json=payload, timeout=120)
        response.raise_for_status()
        return response.json()["message"]["content"].strip()
    except Exception as e:
        return f"请求失败：{e}"

if __name__ == "__main__":
    result = ask_deepseek("请用中文解释 Transformer 架构中的自注意力机制。")
    print(result)

关键设置：

• timeout=120：避免长文本生成超时；
• temperature=0.3：降低随机性，回答更严谨；
• num_ctx=4096：确保处理中等长度输入。

3.3 批量处理

利用线程池并发发送多个独立请求：

import concurrent.futures

questions = [
    "如何判断一个数是否为质数？",
    "解释 HTTP 状态码 401 和 403 的区别。",
    "用 Markdown 写一个简洁的 API 文档模板。"
]

with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    futures = [executor.submit(ask_deepseek, q) for q in questions]
    results = [f.result() for f in concurrent.futures.as_completed(futures)]

4. 进阶技巧

4.1 提示词优化

通过 system 角色强制设定风格：

{
  "model": "deepseek-r1:8b",
  "messages": [
    {"role": "system", "content": "你是一名资深 Python 工程师，只给代码，不解释原理。"},
    {"role": "user", "content": "写一个函数，过滤字符串中的短单词。"}
  ],
  "stream": False
}

4.2 多模型并行

在同一份 docker-compose.yml 中添加第二个服务，修改端口（如 11435）和容器名，分别拉取不同模型（如 qwen2:7b），实现任务智能路由。

4.3 持久化与备份

已在 volumes 中将模型挂载到宿主机目录 ./ollama_models。重装系统只需复制该文件夹 + docker-compose.yml 即可恢复全部服务。

5. 总结

本文完成了以下工作：

• 用 Docker Compose 一键启动 Ollama 服务，屏蔽底层环境差异；
• 成功运行 DeepSeek-R1-Distill-Llama-8B，掌握 CLI、Python 集成及批量处理；
• 学会用 system 提示控制输出风格，构建可备份、可扩展的模型服务架构。

AI 服务的门槛在于如何把它变成工作流中稳定、可靠的环节。