Windows 本地运行 DeepSeek 大模型的三步指南
它是免费的——社区驱动的人工智能。
当 OpenAI 第一次推出定制 GPT 时，我就明白会有越来越多的人为人工智能做出贡献，并且迟早它会完全由社区驱动。但从来没有想过它会如此接近。让我们看看如何在 Windows 机器上完全免费使用第一个开源推理模型！
步骤 0：安装 Docker 桌面
我确信很多人已经安装了它，所以可以跳过，但如果没有 — — 这很简单，只需访问 Docker 的官方网站，下载并运行安装。
如果您需要一些特定的设置，例如使用 WSL，那么有很多指导视频，请查看！我将继续下一步。
步骤 1：安装 CUDA 以获得 GPU 支持
如果您想使用 Nvidia 显卡运行 LLM，则必须安装 CUDA 驱动程序。（嗯……是的，它们需要大量的计算能力）
打开 CUDA 下载页面，根据需要点击'Windows'和其他选项，然后选择'本地'作为安装程序类型：
下载并完成安装即可，此处需要重新启动。
步骤 2：安装 Ollama 并下载模型
前往 Ollama 网站并点击下载按钮。
Ollama是一款开源 AI 工具，使用户能够在其设备上本地运行大型语言模型，为自然语言处理任务提供定制化、高效和离线功能。
安装后，打开'Windows PowerShell'。
并通过运行以下命令来验证您的安装：
ollama -v
再次打开 Ollama 网站并选择您的型号：
有几种选择，我建议从 7b 开始，并检查它如何与您的机器配合使用。例如，我运行 i7-11 系列处理器和 NVIDIA GeForce RTX 2080 SUPER 以及 8GB GPU，我可以在正常（可以说是'可接受的'）速度下使用 14b 型号。
正如我所说，它需要大量的计算能力。
选择后，点击复制按钮：
并在 PowerShell 中运行：
它将像上面一样下载并打开 shell，您可以在这里直接与它聊天，但是让我们对它说 /bye，并继续设置一个实际的 UI，而不是从 PowerShell 提示。
步骤 3：安装 Open-WebUI
打开 GitHub 页面，找到'Open WebUI with Nvidia GPU support'。
复制该命令并再次在 PowerShell 中运行它。它将下载所有需要的 docker 镜像并运行容器，您可以通过 http://localhost:3000/ 访问该容器。
对于任何 LLM 用户来说，这都是一个熟悉的用户界面，左侧边栏用于聊天，左上角可用于选择已安装的模型等。
Open-WebUI 具有大量功能，例如 RAG、图像生成、网页浏览等。您可以在此处查看完整列表。
社区驱动的人工智能← 获取有关人工智能的更多内容
所有信息和观点均仅代表我个人的见解。
如果您喜欢此文章，请收藏、点赞、评论，谢谢，祝您快乐每一天。