🎈本地部署模型
🎉安装 Ollama
官网:Ollama
下载并安装完成后无提示,需手动测试。以下以 QWen 为例。
打开终端,输入命令进行测试:
ollama run qwen
默认模型保存在 C:\Users<username>.ollama\models。如需更改默认路径,可通过设置环境变量 OLLAMA_MODELS 修改,然后重启终端和 Ollama 服务。
setx OLLAMA_MODELS "D:"
下载完成后,可进行测试验证。
查看已安装的模型列表:
ollama list
使用 ollama rm <模型名称> 删除指定模型。
目前仅支持在终端中使用,接下来配置 Web 页面交互以提升体验。
🎉安装 Open WebUI
🎊安装 Docker
如果本地已安装 Docker,可直接跳过此节。
🥞启动 Hyper-V
若系统中没有 Hyper-V,可创建文件 Hyper.cmd 并填入以下内容,使用管理员身份运行后重启电脑:
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
🥞安装 WSL(适用于 Linux 的 Windows 子系统)
更新 WSL:
wsl --update
安装 WSL:
wsl --install
🥞安装 Docker
下载安装包并双击安装,登录即可。左下角显示绿色图标表示运行成功。
🎊Docker 部署 Open WebUI
打开命令行输入 docker,展示内容说明安装成功。
使用 Docker 安装 Open WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
安装完成后,访问 http://localhost:3000。
点击登录网址,点击上方加号增加大模型,下拉选择当前使用的模型。
若出现找不到已安装模型的错误,通常是因为 Ollama 未启动。请启动 Ollama 服务,重新加载网页并选择模型。
输入问题进行测试,确认本地模型部署完成。


