本地部署 AI 大模型指南
众所周知，目前市面上已有许多免费的大模型工具可供使用，例如文心一言、通义千问、Kimi 等。然而，这些云端服务存在数据隐私泄露风险、依赖网络连接以及可能产生的费用等问题。
为了获得更好的体验，我们可以在个人电脑上本地部署开源大语言模型。这样做的好处包括：
- 数据隐私：所有数据均在本地处理，不上传至云端，有效保护个人隐私。
- 离线访问：无需联网即可随时使用，不受网络波动影响。
- 学习研究：深入理解大模型的运行机制，满足技术探索需求。
- 永久免费：部署完成后无需支付 API 费用，无广告干扰。
本文将详细介绍如何通过 Ollama 管理工具和 WebUI 界面，在本地搭建专属的 AI 大模型环境。
一、环境准备与硬件要求
在开始之前，请确保您的电脑满足以下基本要求：
- 操作系统：Windows 10/11, macOS (Intel/M1), 或 Linux。
- 内存 (RAM)：建议至少 8GB，推荐 16GB 或以上。
- 硬盘空间：预留至少 10GB 以上的可用空间用于存储模型文件。
- 显卡 (GPU)：虽然 CPU 也能运行，但配备 NVIDIA 显卡并安装 CUDA 驱动可显著提升推理速度。
二、安装管理工具 Ollama
Ollama 是一款强大的大模型管理工具，支持 Qwen2、Llama3、Phi3、Gemma2 等多种开源模型。
1. 下载与安装
访问 Ollama 官网：https://ollama.com/
- 点击 Download 按钮，选择对应操作系统的安装包。
- 下载完成后，双击安装程序（Windows 下为
OllamaSetup.exe）。 - 按照向导点击 "Install" 完成安装。
- 安装成功后，桌面右下角会出现 Ollama 图标，表示后台服务已启动。
2. 配置模型存储路径
默认情况下，模型会安装在系统盘。为了避免占用 C 盘空间，建议修改环境变量指定存储位置。
- 右键点击'此电脑'，选择'属性' -> '高级系统设置' -> '环境变量'。
- 在'系统变量'区域，点击'新建'。
- 输入以下信息：
- 变量名：
OLLAMA_MODELS - 变量值：
D:\OllamaModels（请根据实际磁盘情况调整路径）
- 变量名：
- 点击确定保存后，重启 Ollama 服务（右键托盘图标退出，再重新启动）。
- 检查目标文件夹是否已自动创建。
三、部署 Ollama 的访问页面
Ollama 本身提供命令行接口，为了方便交互，我们需要部署一个 WebUI 可视化界面。
1. 安装必要工具
部署 WebUI 需要 Git 和 Node.js 环境。
- Git：访问 https://git-scm.com/ 下载并安装，安装时保持默认选项即可。
- Node.js：访问 https://nodejs.org/ 下载 LTS 版本并安装，建议勾选 "Automatically install the necessary tools"。
