如何在 Windows 上通过 Docker 本地运行 DeepSeek 模型
它是免费的——社区驱动的人工智能。
当 OpenAI 第一次推出定制 GPT 时,我就明白会有越来越多的人为人工智能做出贡献,并且迟早它会完全由社区驱动。
但从来没有想过它会如此接近。让我们看看如何在 Windows 机器上完全免费使用第一个开源推理模型!
步骤 0:安装 Docker 桌面
我确信很多人已经安装了它,所以可以跳过,但如果没有,这很简单。只需访问 Docker 的官方网站,下载并运行安装程序。
如果您需要一些特定的设置,例如使用 WSL,那么有很多指导视频可供参考。

步骤 1:安装 CUDA 以获得 GPU 支持
如果您想使用 Nvidia 显卡运行 LLM,则必须安装 CUDA 驱动程序。
打开 CUDA 下载页面,根据需要点击'Windows'和其他选项,然后选择'本地'作为安装程序类型:

下载并完成安装即可,此处需要重新启动。
步骤 2:安装 Ollama 并下载模型
前往 Ollama 网站并点击下载按钮。
Ollama是一款开源 AI 工具,使用户能够在其设备上本地运行大型语言模型,为自然语言处理任务提供定制化、高效和离线功能。

安装后,打开'Windows PowerShell'。

并通过运行以下命令来验证您的安装:
ollama -v

再次打开 Ollama 网站并选择您的型号:





