在本地跑起大模型：Ollama + Open WebUI 搭建记录

下载命令很简单，比如拉 deepseek-r1:7b：

ollama pull deepseek-r1:7b

它会显示进度条，完事之后可以跑一下试试：

ollama run deepseek-r1:7b
>>> 你好，请用中文介绍一下你自己
我是 DeepSeek，一个由深度求索公司开发的大语言模型...

用 API 也行：

curl http://localhost:11434/api/generate -d '{ "model": "deepseek-r1:7b", "prompt": "请用一句话介绍 Python 语言", "stream": false }'

安装 Open WebUI

命令行虽然能用，但有个网页界面体验好很多。Open WebUI 长得像 ChatGPT，支持多轮对话和历史记录。

还是用 Docker 跑，但注意如果 Ollama 也是 Docker 部署的，网络要处理好。我习惯把两个放一个 compose 里（后面会写），省得折腾网络。单独部署的话，可以这样：

如果 Ollama 在宿主机上（非 Docker 方式），用这个命令：

docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 8080:8080 \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  -v ~/open-webui-data:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

如果 Ollama 也是 Docker 跑的，可以用 --network host 让它直接用宿主机网络，或者建一个自定义网络。最简单的是 host 模式：

docker run -d \
  --name open-webui \
  --restart unless-stopped \
  -p 8080:8080 \
  --network host \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -v ~/open-webui-data:/app/backend/data \
  ghcr.io/open-webui/open-webui:main

启动后访问 http://localhost:8080，第一次要注册个账号（本地存储），进去就能选模型对话了。

Docker Compose 一把梭

用 compose 把两个服务写在一起，管理起来最省心。

新建目录和 docker-compose.yml：

mkdir -p ~/ollama-stack && cd ~/ollama-stack
cat > docker-compose.yml << 'EOF'
version: '3.8'
services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ./ollama-data:/root/.ollama
    environment:
      - TZ=Asia/Shanghai
    deploy:
      resources:
        reservations:
          memory: 8G
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "8080:8080"
    volumes:
      - ./open-webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - TZ=Asia/Shanghai
    depends_on:
      - ollama
volumes:
  ollama-data:
  open-webui-data:
EOF

然后：

docker compose up -d

服务跑起来后，进容器下载模型：

docker exec -it ollama ollama pull deepseek-r1:7b

之后浏览器打开 8080 端口就行了。

一些你可能需要的配置

GPU 加速

如果有 NVIDIA 显卡，先确定 Docker 支持 GPU：

docker run --rm --gpus all nvidia/cuda:11.8-base nvidia-smi

然后修改 compose 文件里 Ollama 那部分：

deploy:
  resources:
    reservations:
      devices:
        - driver: nvidia
          count: all
          capabilities: [gpu]

自定义模型参数

Ollama 支持用 Modelfile 定制模型，比如改 temperature 或上下文长度：

cat > Modelfile << 'EOF'
FROM deepseek-r1:7b
SYSTEM 你是一个专业的 AI 助手，擅长中文对话。
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
PARAMETER top_p 0.9
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"
EOF
ollama create my-assistant -f Modelfile
ollama run my-assistant

Python 里调用

搞个简单的函数：

import requests

def chat_with_ollama(prompt, model="deepseek-r1:7b"):
    url = "http://localhost:11434/api/chat"
    payload = {
        "model": model,
        "messages": [{"role": "user", "content": prompt}],
        "stream": False
    }
    resp = requests.post(url, json=payload).json()
    return resp["message"]["content"]

# 调用
print(chat_with_ollama("什么是机器学习？"))

常见问题

模型下载慢：没有好办法，要么挂代理，要么直接去官网下载模型文件放到 ollama 目录。

内存爆了：换 1.5B 的小模型，比如 deepseek-r1:1.5b，只有大概 2GB。还能启动容器时限制内存：--memory="4g"。

Open WebUI 连不上 Ollama：先 curl localhost:11434/api/tags 确认 Ollama 活着。如果俩容器都在同一个 compose 里，记得环境变量用服务名 http://ollama:11434。还不行就 docker compose restart。

更新模型：直接再 pull 一次，旧版本会被覆盖，也可以 ollama rm 删掉再重下。

收尾

搭完这一套，你就在本地有了个完全离线的 AI 助手，写代码、查资料都能用。初次搭建可能卡在网络和内存上，多调几次就顺了。以后想换模型，一条 pull 命令搞定，很方便。

相关链接：

• Ollama 官网：https://ollama.com
• Open WebUI 项目：https://github.com/open-webui/open-webui
• 模型列表：https://ollama.com/library
• DeepSeek：https://github.com/deepseek-ai