介绍如何在本地电脑通过 Ollama 工具部署开源大语言模型。主要步骤包括安装 Ollama 管理程序、配置环境变量以指定模型存储路径、使用 Git 和 Node.js 搭建 Ollama-WebUI 可视化界面，以及通过命令行或 Web 界面下载并运行 Qwen2 和 GLM4 等模型。最终实现离线访问、数据隐私保护及永久免费的本地 AI 对话体验。文章还补充了硬件要求、常见问题排查及性能优化建议，帮助用户顺利完成本地大模型的搭建与使用。
众所周知，目前市面上已有许多免费的大模型工具可供使用，例如文心一言、通义千问、Kimi 等。然而，这些云端服务存在数据隐私泄露风险、依赖网络连接以及可能产生的费用等问题。
为了获得更好的体验，我们可以在个人电脑上本地部署开源大语言模型。这样做的好处包括：
本文将详细介绍如何通过 Ollama 管理工具和 WebUI 界面，在本地搭建专属的 AI 大模型环境。
在开始之前，请确保您的电脑满足以下基本要求：
Ollama 是一款强大的大模型管理工具，支持 Qwen2、Llama3、Phi3、Gemma2 等多种开源模型。
访问 Ollama 官网：https://ollama.com/
OllamaSetup.exe）。默认情况下，模型会安装在系统盘。为了避免占用 C 盘空间，建议修改环境变量指定存储位置。
OLLAMA_MODELSD:\OllamaModels（请根据实际磁盘情况调整路径）Ollama 本身提供命令行接口，为了方便交互，我们需要部署一个 WebUI 可视化界面。
部署 WebUI 需要 Git 和 Node.js 环境。
git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
cd ollama-webui
npm config set registry http://mirrors.cloud.tencent.com/npm/
npm install
npm run dev
http://localhost:3000/ 即可看到 WebUI 界面。您可以通过命令行或 WebUI 界面两种方式下载模型。
打开命令提示符（CMD），输入以下命令下载模型：
ollama pull qwen2:0.5b
该命令会从远程仓库下载 Qwen2 的 0.5B 参数规格模型。下载过程中可在窗口查看进度，显示 "success" 即代表成功。
glm4:9b。模型下载完成后，即可在 WebUI 聊天窗口中开始对话。
您可以尝试询问一些具体问题，例如'怎么在 2 个月内减重 20 斤？'，对比不同模型的回答质量。Qwen2 通常在中英文理解上表现均衡，而 GLM4 在中文场景下也有不错的表现。
如果启动 WebUI 时报错 "Port 3000 is already in use"，可以修改启动脚本中的端口号，或者关闭占用该端口的其他程序。
如果您使用的是小显存显卡，建议优先下载参数量较小的模型（如 0.5B 或 1.5B 版本）。大模型（如 7B 以上）可能需要 8GB 以上显存才能流畅运行。
对于 Windows 用户，确保安装了最新的 NVIDIA 显卡驱动。Ollama 会自动检测 GPU 并使用 CUDA 加速。如果在 Mac 上，则利用 Apple Silicon 的 Metal 加速。
在 WebUI 聊天界面的下拉菜单中，可以随时切换已下载的模型进行对话，无需重新下载。
通过上述步骤，您已经成功在本地搭建了 AI 大模型环境。这不仅是一次技术实践，更是迈向私有化 AI 应用的重要一步。随着技术的进步，未来还可以尝试微调模型以适应更特定的业务场景。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online