本地部署 AI 大模型指南
众所周知，目前市面上已有许多免费的大模型工具可供使用，例如文心一言、通义千问、Kimi 等。然而，这些云端服务存在数据隐私泄露风险、依赖网络连接以及可能产生的费用等问题。
为了获得更好的体验，我们可以在个人电脑上本地部署开源大语言模型。这样做的好处包括：
- 数据隐私：所有数据均在本地处理，不上传至云端，有效保护个人隐私。
- 离线访问：无需联网即可随时使用，不受网络波动影响。
- 学习研究：深入理解大模型的运行机制，满足技术探索需求。
- 永久免费：部署完成后无需支付 API 费用，无广告干扰。
本文将详细介绍如何通过 Ollama 管理工具和 WebUI 界面，在本地搭建专属的 AI 大模型环境。
一、环境准备与硬件要求
在开始之前，请确保您的电脑满足以下基本要求：
- 操作系统：Windows 10/11, macOS (Intel/M1), 或 Linux。
- 内存 (RAM)：建议至少 8GB，推荐 16GB 或以上。
- 硬盘空间：预留至少 10GB 以上的可用空间用于存储模型文件。
- 显卡 (GPU)：虽然 CPU 也能运行，但配备 NVIDIA 显卡并安装 CUDA 驱动可显著提升推理速度。
二、安装管理工具 Ollama
Ollama 是一款强大的大模型管理工具，支持 Qwen2、Llama3、Phi3、Gemma2 等多种开源模型。
1. 下载与安装
访问 Ollama 官网：https://ollama.com/
- 点击 Download 按钮，选择对应操作系统的安装包。
- 下载完成后，双击安装程序（Windows 下为
OllamaSetup.exe）。 - 按照向导点击 "Install" 完成安装。
- 安装成功后，桌面右下角会出现 Ollama 图标，表示后台服务已启动。
2. 配置模型存储路径
默认情况下，模型会安装在系统盘。为了避免占用 C 盘空间，建议修改环境变量指定存储位置。
- 右键点击'此电脑'，选择'属性' -> '高级系统设置' -> '环境变量'。
- 在'系统变量'区域，点击'新建'。
- 输入以下信息：
- 变量名：
OLLAMA_MODELS - 变量值：
D:\OllamaModels（请根据实际磁盘情况调整路径）
- 变量名：
- 点击确定保存后，重启 Ollama 服务（右键托盘图标退出，再重新启动）。
- 检查目标文件夹是否已自动创建。
三、部署 Ollama 的访问页面
Ollama 本身提供命令行接口，为了方便交互，我们需要部署一个 WebUI 可视化界面。
1. 安装必要工具
部署 WebUI 需要 Git 和 Node.js 环境。
- Git：访问 https://git-scm.com/ 下载并安装，安装时保持默认选项即可。
- Node.js：访问 https://nodejs.org/ 下载 LTS 版本并安装，建议勾选 "Automatically install the necessary tools"。
2. 克隆并配置 WebUI 项目
- 打开终端（Windows 下可使用 CMD 或 PowerShell），进入您希望存放项目的目录（如 D 盘）。
- 执行以下命令克隆仓库：
git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui - 进入项目目录：
cd ollama-webui - 配置 npm 镜像源以加速下载（可选）：
npm config set registry http://mirrors.cloud.tencent.com/npm/ - 安装依赖包：
npm install - 启动服务：
npm run dev - 启动成功后，浏览器访问
http://localhost:3000/即可看到 WebUI 界面。
四、安装大语言模型
您可以通过命令行或 WebUI 界面两种方式下载模型。
方式一：命令行安装
打开命令提示符（CMD），输入以下命令下载模型：
ollama pull qwen2:0.5b
该命令会从远程仓库下载 Qwen2 的 0.5B 参数规格模型。下载过程中可在窗口查看进度，显示 "success" 即代表成功。
方式二：WebUI 界面安装
- 在 WebUI 界面右侧点击设置图标。
- 选择 "Models" 标签页。
- 在 "Pull a model" 输入框中输入模型名称，例如
glm4:9b。 - 点击下载按钮，等待进度条完成。
五、与本地大模型对话
模型下载完成后，即可在 WebUI 聊天窗口中开始对话。
您可以尝试询问一些具体问题，例如'怎么在 2 个月内减重 20 斤？'，对比不同模型的回答质量。Qwen2 通常在中英文理解上表现均衡，而 GLM4 在中文场景下也有不错的表现。
六、常见问题与优化
1. 端口冲突
如果启动 WebUI 时报错 "Port 3000 is already in use"，可以修改启动脚本中的端口号，或者关闭占用该端口的其他程序。
2. 显存不足
如果您使用的是小显存显卡，建议优先下载参数量较小的模型（如 0.5B 或 1.5B 版本）。大模型（如 7B 以上）可能需要 8GB 以上显存才能流畅运行。
3. 加速推理
对于 Windows 用户，确保安装了最新的 NVIDIA 显卡驱动。Ollama 会自动检测 GPU 并使用 CUDA 加速。如果在 Mac 上，则利用 Apple Silicon 的 Metal 加速。
4. 模型切换
在 WebUI 聊天界面的下拉菜单中，可以随时切换已下载的模型进行对话，无需重新下载。
结语
通过上述步骤，您已经成功在本地搭建了 AI 大模型环境。这不仅是一次技术实践，更是迈向私有化 AI 应用的重要一步。随着技术的进步，未来还可以尝试微调模型以适应更特定的业务场景。
