步骤 0:安装 Docker 桌面
确保已安装 Docker Desktop。如果没有,请访问 Docker 官方网站下载并运行安装程序。如需使用 WSL 等特定设置,请参考相关文档。

步骤 1:安装 CUDA 以获得 GPU 支持
若需使用 Nvidia 显卡运行大语言模型,必须安装 CUDA 驱动程序。
访问 CUDA 下载页面,选择 Windows 版本及本地安装程序类型进行下载和安装,完成后重启系统。

步骤 2:安装 Ollama 并下载模型
前往 Ollama 官网下载并安装工具。Ollama 是一款开源 AI 工具,允许用户在本地设备上运行大型语言模型。
安装后,打开 Windows PowerShell 验证安装:
ollama -v

在 Ollama 网站选择模型(建议从 7B 开始),复制命令并在 PowerShell 中运行以下载模型:
ollama run <model-name>

下载完成后将进入对话模式,输入 /bye 退出。



步骤 3:安装 Open-WebUI
访问 Open-WebUI GitHub 页面,找到支持 Nvidia GPU 的版本。复制命令在 PowerShell 中运行,它将下载所需的 Docker 镜像并启动容器。

安装完成后,可通过 http://localhost:3000/ 访问 Web 界面。该界面提供聊天侧边栏、模型选择等功能,支持 RAG、图像生成等特性。


