本地电脑使用 Ollama 部署大模型并安装 Chatbox 指南
在某些场景下，用户希望构建一个完全本地离线可用的大语言模型（LLM），以保护数据隐私并降低网络延迟。Ollama 是目前最简单快捷的本地部署方案之一，支持多种主流开源模型，如 Qwen、Llama3 等。本文将详细介绍如何在本地电脑通过 Ollama 部署大模型，并配合 Chatbox 实现图形化交互。
一、环境准备与系统要求
在开始之前，请确保您的电脑满足以下基本要求：
- 操作系统：Windows 10/11, macOS (Intel/Apple Silicon), Linux。
- 内存 (RAM)：建议至少 8GB，运行 7B 参数模型推荐 16GB 以上。
- 显存 (VRAM)：如果使用 NVIDIA 显卡，独立显存不低于 4GB 可运行小模型，12GB 以上可运行较大模型。
- 存储空间：根据选择的模型大小预留 5GB-20GB 空间。
二、安装 Ollama
1. Windows 用户
- 访问 Ollama 官网下载页面获取安装包。
- 双击下载的
.exe文件进行安装。 - 安装过程中保持默认设置即可，无需额外配置。
- 安装完成后，系统托盘会出现 Ollama 图标，表示服务已在后台运行。
2. macOS 用户
- 下载对应的
.dmg安装包。 - 将应用拖入应用程序文件夹。
- 首次运行时可能需要允许终端访问权限。
3. Linux 用户
在终端中执行官方提供的安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
三、命令行交互与模型管理
Ollama 的核心优势在于其简洁的命令行接口。安装完毕后，打开命令提示符（CMD）或 PowerShell。
1. 启动模型
直接输入 ollama run <模型名> 即可下载并运行模型。例如，运行通义千问（Qwen）系列：
ollama run qwen:7b
-
模型选择：
qwen:7b：适合大多数普通电脑，平衡性能与资源。qwen:14b/32b：需要较高硬件配置（显存建议 12GB+），效果更佳。llama3：Meta 推出的开源模型，通用性强。
-
参数说明：数字代表参数量级（单位：十亿）。参数越大，智能程度通常越高，但对硬件要求也越苛刻。
2. 查看已安装模型
列出当前本地所有可用模型：
ollama list
3. 删除模型
如果不再需要某个模型，可以释放磁盘空间：
ollama rm <模型名>
4. 交互方式
进入模型后，直接在命令行中输入问题，模型会逐字生成回答。按 Ctrl+C 可中断生成，按 Ctrl+D 退出模型会话。
