本地部署模型
安装 Ollama
官网:Ollama
下载并安装完成后,无需额外提示。打开终端进行测试(以 QWen 为例):
ollama run qwen
默认模型保存在 C:\Users<username>.ollama\models。如需更改路径,可通过设置环境变量 OLLAMA_MODELS 修改,然后重启终端或 Ollama 服务。
示例命令:
setx OLLAMA_MODELS "D:"
下载完成后,可使用以下命令查看已安装的模型:
ollama list
删除指定模型命令:
ollama rm 模型名称
目前仅支持在终端中使用,为了增加交互体验,我们将搭建 Web 页面。
安装 Open WebUI
安装 Docker
如果本地已有 Docker,可直接跳过此部分。
启动 Hyper-V
若系统中没有 Hyper-V,可创建名为 Hyper.cmd 的文件,填入以下内容并以管理员身份运行,运行完毕后重启电脑:
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
安装 WSL(适用于 Linux 的 Windows 子系统)
更新 WSL:
wsl --update
安装 WSL:
wsl --install
安装 Docker Desktop
前往官网下载 Windows 版 Docker Desktop 并安装。安装完成后登录即可,左下角显示绿色图标代表运行成功。
Docker 部署 Open WebUI
打开命令行输入 docker 验证安装是否成功。随后使用 Docker 安装 Open WebUI。
安装完成后,打开 Docker Desktop,访问 http://localhost:3000 端口。
点击登录网址,点击上方加号 + 可增加大模型,点击下拉按钮可选择当前使用的模型。如果遇到找不到已安装模型的情况,通常是因为 Ollama 未启动,请确保先启动 Ollama 服务。
重新加载网页并选择模型后,即可进行提问测试,完成本地模型的部署。


