步骤 0:安装 Docker 桌面
确保已安装 Docker Desktop。如果没有,请访问 Docker 官方网站下载并运行安装程序。如需使用 WSL 等特定设置,请参考相关文档。

步骤 1:安装 CUDA 以获得 GPU 支持
若需使用 Nvidia 显卡运行大语言模型,必须安装 CUDA 驱动程序。
访问 CUDA 下载页面,选择 Windows 版本及本地安装程序类型进行下载和安装,完成后重启系统。

步骤 2:安装 Ollama 并下载模型
前往 Ollama 官网下载并安装工具。Ollama 是一款开源 AI 工具,允许用户在本地设备上运行大型语言模型。
安装后,打开 Windows PowerShell 验证安装:
ollama -v

在 Ollama 网站选择模型(建议从 7B 开始),复制命令并在 PowerShell 中运行以下载模型:
ollama run <model-name>

下载完成后将进入对话模式,输入 /bye 退出。







