Windows 本地运行 DeepSeek:Docker 与 Ollama 实战指南
它是免费的——社区驱动的人工智能。当 OpenAI 推出定制 GPT 时,我就意识到越来越多的人会为人工智能做出贡献,迟早它会完全由社区驱动。但从未想过开源推理模型会如此接近现实。让我们看看如何在 Windows 机器上完全免费使用它。
前置准备:安装 Docker 桌面
很多人可能已经安装了 Docker,如果还没有,这很简单。访问 Docker 官方网站,下载并运行安装程序即可。如果需要特定设置(例如使用 WSL),网上有很多指导视频可以参考,这里不再赘述,直接进行下一步。
硬件加速:配置 CUDA 驱动
如果想用 Nvidia 显卡运行大语言模型(LLM),必须安装 CUDA 驱动程序。毕竟它们需要大量的计算能力。
打开 CUDA 下载页面,选择'Windows'和其他选项,将安装程序类型设为'本地':

下载并完成安装后,系统通常需要重启。准备好后继续。
模型推理:部署 Ollama 引擎
前往 Ollama 网站点击下载按钮。
Ollama 是一款开源 AI 工具,允许用户在设备上本地运行大型语言模型,为自然语言处理任务提供定制化、高效和离线功能。

安装完成后,打开 Windows PowerShell 验证版本:
ollama -v

再次打开 Ollama 网站选择模型。有几种选择,建议从 7B 开始,根据机器性能调整。比如我使用的是 i7-11 系列处理器搭配 NVIDIA GeForce RTX 2080 SUPER(8GB 显存),可以在可接受的速度下运行 14B 模型。当然,这也取决于你的硬件配置。
复制命令并在 PowerShell 中运行:

它将下载模型并打开 Shell,你可以直接在这里聊天。不过,为了获得更好的体验,我们接下来设置一个实际的 UI,而不是停留在命令行提示符下。
交互界面:启动 Open-WebUI
打开 GitHub 页面,找到'Open WebUI with Nvidia GPU support'。




