如何在 Windows 上本地部署开源大语言模型

步骤 0：安装 Docker 桌面

如果您尚未安装，请访问 Docker 官方网站下载并运行安装程序。如需使用 WSL 等特定设置，请参考相关指导视频。

步骤 1：安装 CUDA 以获得 GPU 支持

若需使用 Nvidia 显卡运行 LLM，必须安装 CUDA 驱动程序。

1. 打开 CUDA 下载页面，选择'Windows'及其他选项。
2. 选择'本地'作为安装程序类型。
3. 下载并完成安装，完成后需要重新启动系统。

步骤 2：安装 Ollama 并下载模型

前往 Ollama 官网下载并安装。

Ollama是一款开源 AI 工具，允许用户在本地设备上运行大型语言模型，为自然语言处理任务提供定制化、高效和离线功能。

1. 安装后，打开'Windows PowerShell'。
2. 运行 ollama -v 验证安装是否成功。
3. 访问 Ollama 网站选择模型（建议从 7b 开始测试）。
4. 复制命令并在 PowerShell 中运行以下载模型。
5. 模型下载后将打开 Shell，可直接聊天。输入 /bye 退出。

步骤 3：安装 Open-WebUI

1. 访问 GitHub 页面找到'Open WebUI with Nvidia GPU support'。
2. 复制提供的命令并在 PowerShell 中运行。
3. 该命令将下载所需 Docker 镜像并启动容器。
4. 通过 http://localhost:3000/ 访问容器界面。

Open-WebUI 提供熟悉的用户界面，左侧边栏用于聊天，左上角可选择已安装模型。它支持 RAG、图像生成、网页浏览等功能。