自建本地 AI 问答大模型：Ollama + Open WebUI 部署指南

下载与运行模型

进入容器内部运行模型，首次执行会自动下载：

docker exec -it ollama ollama run llama3

等待下载完成后，即可进入交互模式输入指令。

Open WebUI 部署

Open WebUI 提供友好的图形界面，支持多轮对话、文件上传等功能。

1. 启动容器

docker run -d -p 8186:8080 --add-host=host.docker.internal:host-gateway -v openwebui:/app/backend --name open-webui ollama/open-webui

*注意：请确保端口 8186 未被占用。

2. 访问界面

浏览器访问 http://localhost:8186/。首次访问需注册账号（通常使用邮箱）。

3. 连接 Ollama

在设置中确认 Ollama 的连接地址。如果是本地 Docker 网络，可能需要配置环境变量 OLLAMA_HOST 指向 http://host.docker.internal:11434。

优化中文回复体验

默认模型可能倾向于英文回复。可以通过创建自定义 ModelFile 来强制指定语言。

1. 创建 Modelfile

在项目目录下创建 Modelfile 文件：

from llama3
PARAMETER temperature 1
PARAMETER num_ctx 6000
PARAMETER top_k 50
PARAMETER top_p 0.95
SYSTEM """
尽你的最大可能和能力回答用户的问题。不要重复回答问题。不要说车轱辘话。语言要通顺流畅。
RULES:
- Be precise, do not reply emoji.
- Always response in Simplified Chinese, not English.
"""

2. 构建自定义模型

ollama create cusllama3 -f Modelfile

3. 应用新模型

在 Open WebUI 中选择 cusllama3 作为对话模型，即可获得更规范的中文回复。

常见问题排查

1. 无法连接 Ollama: 检查防火墙是否开放 11434 端口，确认 OLLAMA_HOST 环境变量配置正确。
2. 显存不足: 尝试使用量化版本较小的模型（如 7B 以下），或减少上下文长度 num_ctx。
3. CPU 占用过高: 生成过程会占用大量 CPU/内存资源，建议关闭其他高负载程序。

总结

通过 Docker 部署 Ollama 和 Open WebUI，用户可以低成本地拥有私有化大模型能力。配合自定义 System Prompt，可显著提升特定场景下的回复质量。