Windows 本地运行 DeepSeek 模型的三步指南
它是免费的——社区驱动的人工智能。
当 OpenAI 第一次推出定制 GPT 时，我就明白会有越来越多的人为人工智能做出贡献，并且迟早它会完全由社区驱动。但从来没有想过它会如此接近。让我们看看如何在 Windows 机器上完全免费使用第一个开源推理模型！
步骤 1：安装 Docker 桌面
我确信很多人已经安装了它，所以可以跳过，但如果没有 — — 这很简单，只需访问 Docker 的官方网站，下载并运行安装。
如果您需要一些特定的设置，例如使用 WSL，那么有很多指导视频，请查看！我将继续下一步。
步骤 2：安装 CUDA 以获得 GPU 支持
如果您想使用 Nvidia 显卡运行 LLM，则必须安装 CUDA 驱动程序。（嗯……是的，它们需要大量的计算能力）
打开 CUDA 下载页面，根据需要点击'Windows'和其他选项，然后选择'本地'作为安装程序类型：
下载并完成安装即可，此处需要重新启动。
步骤 3：安装 Ollama 并下载模型
前往 Ollama 网站并点击下载按钮。
Ollama是一款开源 AI 工具，使用户能够在其设备上本地运行大型语言模型，为自然语言处理任务提供定制化、高效和离线功能。
安装后，打开'Windows PowerShell'。
并通过运行来验证您的安装 ollama -v：
再次打开 Ollama 网站并选择您的型号：
有几种选择，我建议从 7b 开始，并检查它如何与您的机器配合使用。例如，我运行 i7-11 系列处理器和 NVIDIA GeForce RTX 2080 SUPER 以及 8GB GPU，我可以在正常（可以说是'可接受的'）速度下使用 14b 型号。
正如我所说，它需要大量的计算能力。
选择后，点击复制按钮：
