🎈本地部署模型
🎉安装 Ollama
官网:Ollama

然后进行一下下载

安装完成之后是没有提示的,然后我们需要去测试一下。(这里我是以 QWen 为例子,大家可以尝试其他的模型)
打开一个终端,然后输入一个命令,进行测试
ollama run qwen
现在是正在进行下载,默认是保存在(C 盘,C:\Users.ollama\models 如果想更改默认路径,可以通过设置 OLLAMA_MODELS 进行修改,然后重启终端,重启 ollama 服务。或者在环境变量中修改 OLLAMA_MODELS 的位置)
setx OLLAMA_MODELS "D:"

下载完成后,可以进行测试:

查看都安装了什么模型

ollama list
显示所有安装模型,使用 ollama rm 模型名称 删除指定模型。
但这个现在就只可以在终端中使用,那么我们就搞一个 web 页面进行交互,增加体验。
🎉安装 Open WebUI
🎊安装 Docker
如果你本地已经有了 Docker 了,那就可以直接看下面的内容。
🥞启动 Hyper-V

















