Ubuntu 25.04 私有化部署 Ollama + DeepSeek + OpenWebUI 实战

启动服务并设置开机自启：

sudo systemctl daemon-reload
sudo systemctl enable --now ollama

2. DeepSeek 模型加载

DeepSeek 中文能力出色，通过 Ollama 拉取即可使用：

# 下载模型（约 25GB）
ollama pull deepseek-coder:33b

# 测试运行
ollama run deepseek-coder "用 Python 写一个快速排序函数"

若需提升加载速度，可建立本地缓存链接：

mkdir -p /data/ollama/.ollama/models/blobs
ln -s /data/ollama/.ollama/models /usr/share/ollama

3. OpenWebUI 可视化界面

使用国内镜像源加速 Docker 镜像拉取：

# 拉取镜像
sudo docker pull ghcr.m.daocloud.io/open-webui/open-webui:main

# 准备持久化目录
mkdir -p /data/open-webui/{database,cache}
chmod 755 /data/open-webui

运行容器时需注意网络配置，确保能访问 Ollama 服务：

docker run -d \
  -p 3000:8080 \
  --name open-webui \
  --restart always \
  --add-host=host.docker.internal:host-gateway \
  -v /data/open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://172.17.0.1:11434 \
  ghcr.m.daocloud.io/open-webui/open-webui:main

验证容器连通性：

docker exec open-webui curl -Is http://172.17.0.1:11434 | head -1
# 应返回 HTTP/1.1 200 OK

性能调优实战

1. GPU 资源共享配置

安装 NVIDIA 容器工具包以支持 Docker 调用 GPU：

curl -sL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://nvidia.github.io/libnvidia-container/stable/ubuntu25.04/$(arch) /" | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update && sudo apt install -y nvidia-container-toolkit

修改 Docker 守护进程配置 /etc/docker/daemon.json：

{
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  },
  "default-runtime": "nvidia"
}

重启 Docker 服务使配置生效。

2. 模型热加载优化

为避免每次重启后重新下载模型，可编写脚本自动预加载：

#!/bin/bash
MODELS=("deepseek-coder:33b" "llama3:70b")
for MODEL in ${MODELS[@]}; do
  curl -X POST http://localhost:11434/api/pull -d '{"name": "'$MODEL'"}'
done

将其保存为 /usr/local/bin/ollama-autoload 并赋予执行权限，随后加入 crontab 实现开机自启：

sudo chmod +x /usr/local/bin/ollama-autoload
(crontab -l; echo "@reboot /usr/local/bin/ollama-autoload") | crontab -

故障排查指南

OpenWebUI 无法连接 Ollama

检查容器内部网络及端口映射：

# 容器内测试连通性
docker exec -it open-webui ping 172.17.0.1

# 检查端口监听
sudo ss -tulnp | grep 11434

# 临时关闭防火墙测试
sudo ufw disable

模型加载异常

查看详细日志定位问题：

journalctl -u ollama -n 100 -f

常见原因包括磁盘空间不足、模型文件损坏或显存不够。可通过 df -h /data 和 ollama ls 进行初步诊断。

CUDA 内存溢出

编辑 ~/.ollama/config.json 调整显存分配策略：

{"num_gpu": 1, "num_thread": 6, "max_vram": 10000}

安全加固建议

1. 访问认证：设置密钥保护接口

   docker run ... -e OPENWEBUI_SECRET_KEY=YourStrongKey ...
   

2. HTTPS 加密：结合 Let's Encrypt 证书启用 HTTPS

   docker run -d \
     -p 443:8080 \
     -v /etc/letsencrypt:/etc/letsencrypt \
     -e OPENWEBUI_SECURE_COOKIES=true \
     ...
   

实际效果展示

完成部署后，浏览器访问 http://your-server-ip:3000 即可使用。该环境支持多会话管理、模型切换面板，中文问答响应速度在 RTX 4090 上约为 5-8 tokens/秒。API 调用示例：

curl http://localhost:11434/api/generate -d '{ "model": "deepseek-coder:33b", "prompt": "解释量子纠缠现象", "stream": false }'

总结与建议

这套私有化方案具备高性价比、数据隐私安全及灵活扩展等优势。建议配合以下监控手段保障长期稳定运行：

• 使用 nvtop 实时监控 GPU 状态
• 配置 Prometheus + Grafana 监控服务健康度
• 设置日志轮转防止磁盘写满

在实际开发辅助、技术文档撰写及编程问题解决场景中，这套本地 AI 环境已证明其生产力价值。