前言
本文介绍如何在 Windows 系统快速部署 Ollama 开源大语言模型运行工具,并安装 Open WebUI 结合内网穿透软件,实现在公网环境也能访问你在本地内网搭建的 llama2、千问 qwen 等大语言模型运行环境。
在本地运行大语言模型有诸多优点:
- 可以保护隐私
- 不会产生费用
- 可以无视网络问题
- 可以尝鲜各种开源模型
Ollama 支持当前主要的开源模型,比如 llama2、千问 qwen、mistral 等,可以在 Windows、Linux、MacOS 系统上进行部署。稳定性和便利性都非常不错。
1. 运行 Ollama
本文安装环境为:Windows 10 专业版
下载: Ollama 下载地址:https://ollama.com/download
在下载页面点击 Windows,然后点击下载按钮。

安装: 下载完成后,双击下载的安装程序。

点击 Install 进行安装。

安装完成没有提示,我们打开一个终端,本文以 Windows PowerShell 为例,大家也可以使用其他的:
现在 Ollama 已经安装完了,我们需要在终端中输入下方命令运行一个大语言模型进行测试,这里以对在中文方面表现相对好些的千问为例,大家也可以使用其他的模型。
ollama run qwen

可以看到,系统正在下载 qwen 的模型(并保存在 C 盘,C:\Users.ollama\models 如果想更改默认路径,可以通过设置 OLLAMA_MODELS 进行修改,然后重启终端,重启 ollama 服务。)
setx OLLAMA_MODELS "D:\ollama_model"

































