Ubuntu 25.04 私有大模型部署实战：Ollama+DeepSeek+OpenWebUI

启动服务：

sudo systemctl daemon-reload
sudo systemctl enable --now ollama

2. DeepSeek 模型加载

DeepSeek 是一款优秀的中文大模型，本地部署步骤：

# 下载模型（约 25GB）
ollama pull deepseek-coder:33b
# 测试模型运行
ollama run deepseek-coder "用 Python 写一个快速排序函数"

为提升加载速度，可创建本地模型缓存：

mkdir -p /data/ollama/.ollama/models/blobs
ln -s /data/ollama/.ollama/models /usr/share/ollama

3. OpenWebUI 可视化界面

使用国内镜像源加速下载：

# 拉取镜像
sudo docker pull ghcr.m.daocloud.io/open-webui/open-webui:main
# 持久化存储目录准备
mkdir -p /data/open-webui/{database,cache}
chmod 755 /data/open-webui

运行容器（特别注意网络配置）：

docker run -d \
-p 3000:8080 \
--name open-webui \
--restart always \
--add-host=host.docker.internal:host-gateway \
-v /data/open-webui:/app/backend/data \
-e OLLAMA_BASE_URL=http://172.17.0.1:11434 \
ghcr.m.daocloud.io/open-webui/open-webui:main

验证容器连通性：

docker exec open-webui curl -Is http://172.17.0.1:11434 | head -1
# 应返回 "HTTP/1.1 200 OK"

二、性能调优实战

1. GPU 资源共享配置

# 安装 NVIDIA 容器工具包
curl -sL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
echo "deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://nvidia.github.io/libnvidia-container/stable/ubuntu25.04/$(arch) /" | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt update && sudo apt install -y nvidia-container-toolkit

修改 Docker 配置 (/etc/docker/daemon.json)：

{
  "runtimes": {
    "nvidia": {
      "path": "/usr/bin/nvidia-container-runtime",
      "runtimeArgs": []
    }
  },
  "default-runtime": "nvidia"
}

2. 模型热加载优化

创建自动加载脚本 (/usr/local/bin/ollama-autoload)：

#!/bin/bash
MODELS=("deepseek-coder:33b" "llama3:70b")
for MODEL in ${MODELS[@]}; do
  curl -X POST http://localhost:11434/api/pull -d '{"name": "'$MODEL'"}'
done

添加到 crontab：

(crontab -l; echo "@reboot /usr/local/bin/ollama-autoload") | crontab -

三、故障排查指南

1. OpenWebUI 无法连接 Ollama

# 容器内部测试
docker exec -it open-webui ping 172.17.0.1
# 检查端口映射
sudo ss -tulnp | grep 11434
# 临时关闭防火墙测试
sudo ufw disable

2. 模型加载异常

查看详细日志：

journalctl -u ollama -f -n 100

常见解决方案：

1. 检查磁盘空间 df -h /data
2. 验证模型完整性 ollama ls
3. 调整显存分配（在小型卡上使用较小模型）

3. CUDA 内存溢出

编辑 ~/.ollama/config.json：

{"num_gpu":1,"num_thread":6,"max_vram":10000}

四、安全加固建议

1. 添加访问认证：

docker run ... -e OPENWEBUI_SECRET_KEY=YourStrongKey ...

2. 配置 HTTPS：

# 使用 Let's Encrypt 证书
docker run -d \
-p 443:8080 \
-v /etc/letsencrypt:/etc/letsencrypt \
-e OPENWEBUI_SECURE_COOKIES=true \
...其他参数...

五、实际效果展示

完成部署后，浏览器访问 http://your-server-ip:3000 即可使用：

1. 支持多会话管理
2. 提供模型切换面板
3. 中文问答响应速度约 5-8 tokens/秒（RTX 4090）
4. 本地运行 API 支持：

curl http://localhost:11434/api/generate -d '{ "model": "deepseek-coder:33b", "prompt": "解释量子纠缠现象", "stream": false }'

六、总结与建议

通过本方案部署的私有 AI 环境具有：

• 高性价比：完全本地运行，无 API 调用费用
• 隐私安全：敏感数据不出内网
• 灵活扩展：支持 200+ HuggingFace 模型

系统监控建议：

• 使用 nvtop 监控 GPU 状态
• 配置 Prometheus+Grafana 监控服务健康度
• 设置日志轮转防止磁盘写满