
DeepSeek 这类社区驱动的开源模型,最大的吸引力就是'自己机器上也能跑'。如果你手里正好有一台 Windows 电脑,想尽量低门槛地把模型跑起来,其实只需要把环境、模型和前端界面这三件事接好就行。
第 0 步:先把 Docker Desktop 装好
如果你的电脑上已经有 Docker Desktop,这一步可以直接略过。没有的话,先去 Docker 官方网站下载并安装即可。
如果你平时会用到 WSL,也可以顺手按自己的习惯把相关配置一起整理好。Docker 本身的安装流程并不复杂,重点是先确保它能正常启动。
第 1 步:安装 CUDA,给 NVIDIA 显卡准备好运行环境
如果你打算用 NVIDIA 显卡来跑本地大模型,CUDA 驱动是绕不开的。模型推理会吃掉相当多的算力,没有合适的 GPU 支持,体验会明显打折。
打开 CUDA 下载页面后,按你的系统选择 Windows 以及对应的安装方式,通常选择本地安装包即可。下载完成后照着向导安装,最后重启一次电脑,避免驱动没有完全生效。
第 2 步:安装 Ollama,并拉取模型
接下来装 Ollama。它的作用很直接:帮你在本地管理和运行大模型,省掉一堆手工配置。
安装完成后,打开 Windows PowerShell,先确认它是否安装成功:
ollama -v
如果能正常输出版本号,就说明环境没问题。
然后去 Ollama 的模型页面选择你要用的模型。一般来说,先从 7B 开始更稳妥,机器性能足够的话再考虑更大的参数规模。实际体验里,显存和内存都会影响速度,模型越大,对硬件的要求也越高。
复制模型对应的命令后,在 PowerShell 里执行即可。第一次运行时,Ollama 会自动下载模型并启动交互 shell。你可以先直接在命令行里测试一下,如果准备切换到图形界面,继续下一步就行。
第 3 步:安装 Open WebUI,换一个更顺手的聊天界面
如果只在 PowerShell 里和模型对话,能用,但不够舒服。更像日常产品的方式,是接上 Open WebUI。
到 Open WebUI 的项目页面,找到适合自己环境的启动命令。这里如果是 NVIDIA GPU 环境,就选带 GPU 支持的那一组。复制命令后回到 PowerShell 执行,Docker 会自动拉取镜像并启动容器。
启动完成后,直接访问:
http://localhost:3000/
打开之后,你会看到一个比较熟悉的聊天界面:左侧是会话列表,顶部可以切换已安装的模型,整体使用方式和常见的 LLM 客户端很接近。
Open WebUI 还有不少扩展能力,比如 RAG、图片生成、网页浏览等。对大多数本地使用场景来说,先把基础聊天跑顺,已经足够好用了。
把这三步接起来之后,DeepSeek 就能在你的 Windows 机器上本地运行起来了:Docker 负责容器环境,CUDA 提供 GPU 支持,Ollama 负责模型管理,Open WebUI 则把使用体验补齐。这样一套组合,基本就是本地大模型最省心的入门路径之一。


