如何通过 3 个简单步骤在 Windows 上本地运行 DeepSeek

它是免费的——社区驱动的人工智能💪。

        当 OpenAI 第一次推出定制 GPT 时，我就明白会有越来越多的人为人工智能做出贡献，并且迟早它会完全由社区驱动。

        但从来没有想过它会如此接近😂让我们看看如何在 Windows 机器上完全免费使用第一个开源推理模型！ 

步骤 0：安装 Docker 桌面

        我确信很多人已经安装了它，所以可以跳过，但如果没有 — — 这很简单，只需访问Docker 的官方网站，下载并运行安装 👍

        如果您需要一些特定的设置，例如使用 WSL，那么有很多指导视频，请查看！我将继续下一步。

步骤 1：安装 CUDA 以获得 GPU 支持

        如果您想使用 Nvidia 显卡运行 LLM，则必须安装 CUDA 驱动程序。（嗯……是的，它们需要大量的计算能力）

        打开CUDA 下载页面，根据需要点击“Windows”和其他选项，然后选择“本地”作为安装程序类型：

下载并完成安装即可👍，此处需要重新启动。 

第 2 步：安装 Ollama 并下载模型

前往Ollama 网站并点击下载按钮 😆

        Ollama是一款开源 AI 工具，使用户能够在其设备上本地运行大型语言模型，为自然语言处理任务提供定制化、高效和离线功能。

安装后，打开“Windows PowerShell”

并通过运行来验证您的安装ollama -v：

再次打开ollama网站并选择您的型号：

        有几种选择，我建议从 7b 开始，并检查它如何与您的机器配合使用。例如，我运行 i7-11 系列处理器和 NVIDIA GeForce RTX 2080 SUPER 以及 8GB GPU，我可以在正常（可以说是“可接受的”）速度下使用 14b 型号。

正如我所说，它需要大量的计算能力 

选择后，点击复制按钮： 

并在 PowerShell 中运行：

它将像上面一样下载并打开 shell，您可以在这里直接与它聊天，但是让我们/bye对它说，并继续设置一个实际的 UI，而不是从 PowerShell 提示 💪

步骤3：安装Open-WebUI

打开github 页面，找到“ Open WebUI with Nvidia GPU support”

复制该命令并再次在 PowerShell 中运行它。它将下载所有需要的 docker 镜像并运行容器，您可以通过http://localhost:3000/访问该容器

对于任何 LLM 用户来说，这都是一个熟悉的用户界面，左侧边栏用于聊天，左上角可用于选择已安装的模型等。

Open-WebUI 具有大量功能，例如 RAG、图像生成、网页浏览等。您可以在此处查看完整列表 

社区驱动的人工智能← 获取有关人工智能的更多内容 👍

所有信息和观点均仅代表我个人的见解。

如果您喜欢此文章，请收藏、点赞、评论，谢谢，祝您快乐每一天。