DeepSeek-R1-Distill-Llama-8B 部署教程：Docker Compose 多模型推理服务

注意：若无 NVIDIA GPU，请注释掉 deploy.resources 段，并取消 command 行的注释以启用 CPU 模式。

2.3 启动服务并拉取模型

进入目录执行：

# 启动服务
docker-compose up -d ollama

# 拉取模型
docker exec -it ollama-deepseek ollama pull deepseek-r1:8b

通过 docker logs -f ollama-deepseek 查看进度，出现 success 即表示就位。

2.4 验证服务

使用 curl 测试：

curl -X POST http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{ "model": "deepseek-r1:8b", "messages": [{"role": "user", "content": "解释什么是链式思维？"}], "stream": false }'

若返回包含 assistant 角色的 JSON，则服务正常。

3. 实战调用：从命令行到 Python 脚本

3.1 命令行交互

docker exec -it ollama-deepseek ollama run deepseek-r1:8b

3.2 Python 脚本调用

import requests

def ask_deepseek(question: str, model: str = "deepseek-r1:8b") -> str:
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": question}],
        "stream": False,
        "options": {"temperature": 0.3, "num_ctx": 4096}
    }
    try:
        response = requests.post(url, json=payload, timeout=120)
        response.raise_for_status()
        return response.json()["message"]["content"].strip()
    except Exception as e:
        return f"请求失败：{e}"

if __name__ == "__main__":
    print(ask_deepseek("解释 Transformer 自注意力机制。"))

3.3 批量处理

利用线程池并发发送多个请求以提升效率。

4. 进阶技巧

4.1 提示词优化

通过 system 角色控制输出风格，例如强制代码生成模式。

4.2 多模型并行

在同一环境中添加第二个 Ollama 服务实例，监听不同端口，实现任务分流。

4.3 持久化与备份

通过 volumes 将模型挂载至宿主机，确保容器删除后数据不丢失，便于迁移。

5. 总结

本方案通过 Docker Compose 一键启动 Ollama 服务，屏蔽底层差异，成功运行 DeepSeek-R1-Distill-Llama-8B。掌握了命令行、Python 集成及批量处理方法，构建了可扩展的 AI 服务底座。