Windows 本地运行 DeepSeek 开源模型的三个步骤

Windows 本地运行 DeepSeek 开源模型

步骤 0：安装 Docker 桌面

如果尚未安装，请访问 Docker 官方网站下载并运行安装程序。如需使用 WSL 等特定设置，请参考相关文档。

步骤 1：安装 CUDA 以获得 GPU 支持

若需使用 Nvidia 显卡运行大语言模型（LLM），必须安装 CUDA 驱动程序。

1. 访问 CUDA 下载页面。
2. 选择 Windows 版本及本地安装程序类型。
3. 下载并完成安装，安装完成后需要重启系统。

步骤 2：安装 Ollama 并下载模型

Ollama 是一款开源 AI 工具，允许用户在本地设备上运行大型语言模型。

1. 访问 Ollama 官网下载安装包。
2. 打开 Windows PowerShell。
3. 运行 ollama -v 验证安装是否成功。
4. 在 Ollama 网站选择模型（建议从 7b 开始，根据机器性能调整）。
5. 复制命令并在 PowerShell 中运行以下载模型。
6. 下载完成后将打开 Shell，可直接对话。输入 /bye 退出，继续配置图形界面。

步骤 3：安装 Open-WebUI

Open-WebUI 提供类似熟悉的用户界面，支持聊天、模型选择、RAG、图像生成等功能。

1. 访问 Open-WebUI GitHub 页面。
2. 找到 "Open WebUI with Nvidia GPU support" 命令。
3. 复制命令并在 PowerShell 中运行。
4. 该命令将下载所需的 Docker 镜像并运行容器。
5. 启动后通过 http://localhost:3000/ 访问容器界面。

注意：此方案需要较强的计算能力，请确保硬件满足要求。