在本地环境下使用 Ollama 和 OpenWebUI 部署大语言模型的完整流程。涵盖硬件要求、Ollama 安装与模型拉取、OpenWebUI 的 Docker 部署及配置、以及常见问题的排查方法。重点讲解了如何在资源受限的机器上运行量化模型，并提供了性能优化建议，帮助用户实现私有化、低成本的 AI 应用体验。
随着大语言模型（LLM）技术的快速发展，越来越多的开发者希望将模型部署在本地环境，以实现数据隐私保护、降低 API 调用成本以及离线使用。本文主要借助两个开源项目 Ollama 和 OpenWebUI，来尝试本地跑通 llama3.1 8b、mistral-nemo 12b 和 qwen2.5 7b 等模型。
对于资源受限的机器，选择合适的模型量化版本至关重要。本文提供的硬件参考配置如下：
Ollama 是一个用于运行和管理本地大模型的轻量级工具，支持多种主流架构。
访问 Ollama 官网根据平台下载应用，安装完成后服务通常会自动启动。
安装完成后，通过终端执行命令拉取所需模型。模型库可在 Ollama 官方页面查询。
# 拉取 Llama 3.1 8B
ollama run llama3.1:8b
# 拉取 Qwen 2.5 7B
ollama run qwen2.5:7b
# 拉取 Mistral Nemo 12B
ollama run mistral-nemo:12b
ollama list：查看已下载的模型列表ollama rm <model>：删除指定模型ollama ps：查看正在运行的模型实例OpenWebUI 是一个功能丰富的 Web 界面，可作为 Ollama 的前端交互层，支持对话历史、多模态输入及插件扩展。
由于 Ollama 运行在本地，我们使用 Docker 容器化运行 OpenWebUI。以下命令适用于大多数场景：
docker run -d \
-p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
--restart always \
ghcr.io/open-webui/open-webui:main
参数说明：
-p 3000:8080：将容器 8080 端口映射到宿主机的 3000 端口。--add-host：解决容器内访问宿主机 Ollama 服务的网络问题。-v open-webui：挂载数据卷，持久化用户数据和聊天记录。运行成功后，访问 http://127.0.0.1:3000 即可打开本地聊天窗口。
首次登录需要创建管理员账号。登录后，进入设置页面连接 Ollama 服务地址（默认为 http://host.docker.internal:11434）。
为了更灵活地控制 OpenWebUI，可以通过环境变量进行配置。例如设置默认模型、启用特定功能等：
docker run -d \
-e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
-e WEBUI_AUTH=true \
# ... 其他参数同上
ghcr.io/open-webui/open-webui:main
--gpus all 参数以启用 GPU 加速。q4_k_m 或 q5_k_m 量化的模型，平衡速度与精度。通过 Ollama 和 OpenWebUI 的组合，我们能够快速搭建一个安全、私有的本地大模型环境。当前如果你不存在数据安全的问题，使用国内或国外的最新的大模型体验肯定更好，但本地部署在隐私敏感场景下具有不可替代的优势。
注意：尝试跑了下 llama3.1 70b 的模型，跑起来后内存直线飙升，32GB 内存的机器不建议尝试跑 70b 模型，建议选择 8B-14B 量级模型以获得流畅体验。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online