基于 Ollama、Llama3.1 与 Open WebUI 搭建本地大模型环境
前言
在本地部署大语言模型（LLM）是保护数据隐私、降低 API 调用成本以及离线使用 AI 能力的有效方案。本文将详细介绍如何使用 Ollama 作为后端推理引擎，结合 Llama3.1 模型，并通过 Open WebUI 提供友好的图形化界面，实现完整的本地大模型环境搭建。
1. 环境准备
在开始之前，请确保您的计算机满足以下基本要求：
- 操作系统：Windows 10/11, macOS (Intel/Apple Silicon), 或 Linux。
- 内存 (RAM)：建议至少 8GB，运行 Llama3.1 8B 版本推荐 16GB 以上。
- 磁盘空间：预留至少 20GB 用于存储模型文件。
- Python 版本：Open WebUI 推荐使用 Python 3.11.0 至 3.12.0 之间版本。
2. 安装 Ollama
Ollama 是一个用于运行和部署开源大模型的轻量级工具。
2.1 Windows 用户
- 访问 Ollama 官网下载 Windows 安装包。
- 运行安装程序，选择默认路径进行安装。
- 安装完成后，打开命令行工具（CMD 或 PowerShell），输入
ollama验证是否安装成功。 - 如果显示帮助信息，说明服务已就绪。
2.2 Mac/Linux 用户
可使用终端执行官方提供的安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
3. 拉取 Llama3.1 模型
Ollama 支持通过命令行直接拉取模型。Llama3.1 是目前性能优秀的开源模型之一。
3.1 下载模型
在终端中执行以下命令拉取 Llama3.1 模型（以 8B 量化版本为例）：
ollama pull llama3.1:8b
3.2 验证模型
下载完成后，可以通过以下命令测试模型对话：
ollama run llama3.1:8b
此时进入交互模式，输入问题即可得到回复。按 Ctrl+D 退出对话。
4. 部署 Open WebUI
Open WebUI 是一个功能丰富的 Web 界面，支持多模态、插件扩展等功能。虽然 Docker 是推荐方式，但针对无法使用 Docker 的环境（如 Windows 家庭版），可以使用 pip 直接安装。
4.1 创建虚拟环境（推荐）
为避免依赖冲突，建议使用 Python 虚拟环境：
python -m venv ollama_env
# Windows 激活
ollama_env\Scripts\activate
# Linux/Mac 激活
source ollama_env/bin/activate
4.2 安装依赖
确保 pip 源为国内镜像以提升速度：
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
安装 Open WebUI：
