PythonAI
基于 Ollama、Llama3.1 与 Open WebUI 搭建本地大模型环境
本文介绍了在本地环境中部署 Ollama 服务、下载 Llama3.1 模型以及通过 Open WebUI 构建图形化界面的完整流程。内容涵盖软件安装、依赖配置、模型拉取及界面访问，解决了 Windows 家庭版无法使用 Docker 时的替代方案，帮助用户快速实现私有化大模型运行。
本文介绍了在本地环境中部署 Ollama 服务、下载 Llama3.1 模型以及通过 Open WebUI 构建图形化界面的完整流程。内容涵盖软件安装、依赖配置、模型拉取及界面访问，解决了 Windows 家庭版无法使用 Docker 时的替代方案，帮助用户快速实现私有化大模型运行。
在本地部署大语言模型（LLM）是保护数据隐私、降低 API 调用成本以及离线使用 AI 能力的有效方案。本文将详细介绍如何使用 Ollama 作为后端推理引擎，结合 Llama3.1 模型，并通过 Open WebUI 提供友好的图形化界面，实现完整的本地大模型环境搭建。
在开始之前，请确保您的计算机满足以下基本要求：
Ollama 是一个用于运行和部署开源大模型的轻量级工具。
ollama 验证是否安装成功。可使用终端执行官方提供的安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
Ollama 支持通过命令行直接拉取模型。Llama3.1 是目前性能优秀的开源模型之一。
在终端中执行以下命令拉取 Llama3.1 模型（以 8B 量化版本为例）：
ollama pull llama3.1:8b
下载完成后，可以通过以下命令测试模型对话：
ollama run llama3.1:8b
此时进入交互模式，输入问题即可得到回复。按 Ctrl+D 退出对话。
Open WebUI 是一个功能丰富的 Web 界面，支持多模态、插件扩展等功能。虽然 Docker 是推荐方式，但针对无法使用 Docker 的环境（如 Windows 家庭版），可以使用 pip 直接安装。
为避免依赖冲突，建议使用 Python 虚拟环境：
python -m venv ollama_env
# Windows 激活
ollama_env\Scripts\activate
# Linux/Mac 激活
source ollama_env/bin/activate
确保 pip 源为国内镜像以提升速度：
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
安装 Open WebUI：
pip install open-webui
运行以下命令启动服务：
open-webui serve
启动成功后，控制台会显示服务地址，通常为 http://localhost:8080/。
http://localhost:8080/。http://host.docker.internal:11434，本地直连通常自动识别为 http://localhost:11434）。如果模型加载缓慢，可能是由于 CPU 推理导致。若显卡支持 CUDA，可尝试在 Ollama 环境变量中指定 GPU 加速：
export OLLAMA_NUM_GPU=999
如果 8080 端口被占用，可通过环境变量指定其他端口：
OPEN_WEBUI_PORT=8081 open-webui serve
部分环境下可能需要配置 HTTP 代理以拉取模型或更新依赖，请在 pip 和 ollama 命令前添加代理参数。
通过以上步骤，您已成功在本地构建了基于 Ollama、Llama3.1 和 Open WebUI 的大模型环境。该方案无需联网即可运行，适合开发测试及隐私敏感场景。后续可根据需求探索更多开源模型或自定义插件功能。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online