本地大语言模型部署实战：Ollama + Open WebUI

3.2 方式二：Docker 部署（推荐生产环境）

# 拉取 Ollama 镜像
docker pull ollama/ollama:latest
# 创建数据目录（持久化模型文件）
mkdir -p ~/ollama-data
# 启动 Ollama 容器
docker run -d \
  --name ollama \
  --restart unless-stopped \
  -p 11434:11434 \
  -v ~/ollama-data:/root/.ollama \
  ollama/ollama:latest
# 查看运行状态
docker ps | grep ollama
# 输出示例
# abc123 ollama/ollama Up 2 minutes 0.0.0.0:11434->11434/tcp ollama

3.3 验证 Ollama 是否正常运行

# 测试 API 是否可用
curl http://localhost:11434/api/tags
# 如果返回 JSON 格式的模型列表，说明运行正常
# {"models":[]}

四、下载并运行第一个模型

4.1 选择合适的模型

4.2 下载模型

# 下载 DeepSeek R1 7B 模型（推荐中文用户）
ollama pull deepseek-r1:7b
# 下载 LLaMA 3.1 8B 模型
ollama pull llama3.1:8b
# 下载 Qwen 2.5 7B 模型
ollama pull qwen2.5:7b
# 下载过程示例
# pulling manifest
# pulling 6a4b3c2d... 100% |████████████| 4.0 GB / 4.0 GB
# verifying sha256 digest
# writing manifest
# success

4.3 命令行对话测试

# 运行模型进入对话模式
ollama run deepseek-r1:7b
# 对话示例
>>> 你好，请用中文介绍一下你自己
我是 DeepSeek，一个由深度求索公司开发的大语言模型...

4.4 API 调用测试

# 使用 curl 调用 API
curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }'
# 返回示例
{"model":"deepseek-r1:7b","response":"Python 是一种简洁、易读的高级编程语言..."}

五、Open WebUI 部署（可视化界面）

虽然命令行可以对话，但体验不够友好。Open WebUI 提供了类似 ChatGPT 的 Web 界面，支持多轮对话、历史记录、Markdown 渲染等功能。

5.1 Docker 部署 Open WebUI

# 拉取 Open WebUI 镜像
docker pull ghcr.io/open-webui/open-webui:main
# 启动容器（连接 Ollama）
docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 8080:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v ~/open-webui-data:/app/backend/data \
  ghcr.io/open-webui/open-webui:main
# 如果 Ollama 也在 Docker 中运行，使用网络连接
docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 8080:8080 \
  --network host \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -v ~/open-webui-data:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

5.2 访问 Web 界面

打开浏览器访问：http://localhost:8080

1. 首次访问需要注册账号（本地存储，无需联网）
2. 登录后选择模型（如 deepseek-r1:7b）
3. 开始对话！

六、Docker Compose 一键部署（完整方案）

为了方便管理，我们可以使用 Docker Compose 同时部署 Ollama 和 Open WebUI。

6.1 创建配置文件

# 创建项目目录
mkdir -p ~/ollama-stack && cd ~/ollama-stack
# 创建 docker-compose.yml
cat > docker-compose.yml << 'EOF'
version: '3.8'
services:
  # Ollama 服务
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama-data:/root/.ollama
    environment:
      - TZ=Asia/Shanghai
    deploy:
      resources:
        reservations:
          memory: 8G
  # Open WebUI 服务
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "8080:8080"
    volumes:
      - ./open-webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - TZ=Asia/Shanghai
    depends_on:
      - ollama
volumes:
  ollama-data:
  open-webui-data:
EOF

6.2 启动服务

# 启动所有服务
docker compose up -d
# 查看服务状态
docker compose ps
# 输出示例
# NAME STATUS PORTS
# ollama running 0.0.0.0:11434->11434/tcp
# open-webui running 0.0.0.0:8080->8080/tcp
# 查看日志
docker compose logs -f

6.3 下载模型

# 进入 Ollama 容器下载模型
docker exec -it ollama ollama pull deepseek-r1:7b
# 查看已下载的模型
docker exec -it ollama ollama list
# 输出示例
# NAME ID SIZE MODIFIED
# deepseek-r1:7b abc123def456 4.0 GB 2 minutes ago

七、高级配置

7.1 GPU 加速（NVIDIA）

# 检查 NVIDIA Docker 支持
docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi

修改 docker-compose.yml，添加 GPU 支持：

services:
  ollama:
    image: ollama/ollama:latest
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

7.2 配置模型参数

# 创建 Modelfile 自定义模型
cat > Modelfile << 'EOF'
FROM deepseek-r1:7b
# 设置系统提示词
SYSTEM 你是一个专业的 AI 助手，擅长中文对话。
# 设置参数
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
PARAMETER top_p 0.9
# 设置停止词
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"
EOF
# 创建自定义模型
ollama create my-assistant -f Modelfile
# 运行自定义模型
ollama run my-assistant

7.3 API 集成示例（Python）

import requests
import json

def chat_with_ollama(prompt, model="deepseek-r1:7b"):
    """调用 Ollama API 进行对话"""
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [
            {"role": "user", "content": prompt}
        ],
        "stream": False
    }
    response = requests.post(url, json=payload)
    result = response.json()
    return result["message"]["content"]

# 使用示例
if __name__ == "__main__":
    answer = chat_with_ollama("请解释什么是机器学习？")
    print(answer)

八、常见问题排查

Q1: 模型下载太慢怎么办？

# 使用国内镜像加速（如果有的话）
# 或者手动下载模型文件后导入
# 查看下载进度
ollama pull deepseek-r1:7b --insecure

Q2: 内存不足怎么办？

# 使用更小的量化模型
ollama pull deepseek-r1:1.5b
# 1.5B 参数，仅需 2GB 内存
# 或者在启动时限制内存
docker run -d --memory="4g" --name ollama ollama/ollama

Q3: Open WebUI 无法连接 Ollama？

# 检查 Ollama 是否运行
curl http://localhost:11434/api/tags
# 检查容器网络
docker network inspect bridge
# 重启服务
docker compose restart

Q4: 如何更新模型？

# 更新到最新版本
ollama pull deepseek-r1:7b
# 删除旧模型
ollama rm deepseek-r1:7b

九、总结

通过本指南，你已经学会了：

• 使用 Docker 部署 Ollama 大模型引擎
• 下载和运行主流开源大模型（DeepSeek、LLaMA、Qwen）
• 部署 Open WebUI 获得 ChatGPT 体验
• 使用 Docker Compose 一键部署完整方案
• Python API 集成调用

相关资源

• Ollama 官网：https://ollama.com
• Open WebUI：https://github.com/open-webui/open-webui
• 模型库：https://ollama.com/library
• DeepSeek：https://github.com/deepseek-ai