Llamafile 本地部署大语言模型及远程访问实战

然后执行下面命令，其中：. llamafile-0.6.2.exe 表示运行 llamafile，. Qwen-7B-Chat-q4_0.llamafile 表示运行自己下载的大语言模型，-ngl 999 表示调用 GPU 显卡运行，后面则是 web 界面访问端口，8080 可以自己修改，后面-host 默认即可。

.
llamafile-0.6.2.exe -m .
Qwen-7B-Chat-q4_0.llamafile -ngl 999 --port 8080 --host 0.0.0.0

执行后，我们可以看到一些信息，没有报错表示运行成功，会默认跳转到浏览器打开对应的界面，如果没有跳转，可以手动访问一下。

打开浏览器，我们可以看到 llama 的 web ui 界面，这样表示启动就成功了。

在最下面的输入框输入即可对话，这样就成功运行了一个大语言模型，不需要安装其他各种依赖配置，简单几步就运行成功了。如果我们需要换成其他的模型，同样按照上面运行的方式运行即可。本地成功后，下面我们安装 cpolar 内网穿透，实现远程也可以访问，方便在外面的时候也可以使用我们大语言模型。

4. 安装 Cpolar 工具

本例介绍的是 windows 系统，所以 cpolar 安装在 windows 上。注册一个账号，然后下载并安装客户端。

Cpolar 官网：https://www.cpolar.com/

• *windows 系统：在官网下载安装包后，双击安装包一路默认安装即可。

cpolar 安装成功后，在浏览器上访问本地 9200 端口 http://localhost:9200，使用 cpolar 账号登录，即可看到 Cpolar 管理界面，然后一切设置只需要在管理界面完成即可!

5. 配置远程访问地址

在管理界面点击左侧仪表盘的隧道管理——创建隧道，创建一个 llamafile web ui 界面的公网 http 地址隧道!

• 隧道名称：可自定义命名，注意不要与已有的隧道名称重复
• 协议：选择 http
• 本地地址：8080 (上面运行模型的时候指定的端口)
• 域名类型：免费选择随机域名
• 地区：选择 China vip

点击 创建(点击一次创建按钮即可，不要重复点击!)

隧道创建成功后，点击左侧的状态——在线隧道列表，查看所生成的公网访问地址，有两种访问方式，一种是 http 和 https，两种都可以访问。

6. 远程访问对话界面

在浏览器输入上面我们创建的 Cpolar 公网域名，可以看到访问成功了。

同样在最下面输入对话信息即可完成对话，因为我们是指定使用 GPU 运行，其响应速度更快，模型对话回复时间更短，这样，一个远程访问的公网地址就设置好了。

小结

为了更好地演示，我们在前述过程中使用了 cpolar 生成的隧道，其公网地址是随机生成的。

这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址由随机字符生成，不太容易记忆（例如：7ff0466b.r12.vip.cpolar.cn）。另外，这个地址在 24 小时内会发生随机变化，更适合于临时使用。

一般会使用固定二级子域名，原因是希望将网址发送给同事或客户时，它是一个固定、易记的公网地址（例如：llamatest.cpolar.cn），这样更显正式，便于流交协作。

7. 固定远程访问地址

如要配置二级子域名，注意需要将 cpolar 套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。

点击进入和登录 Cpolar 官网，点击左侧的预留，选择保留二级子域名，设置一个二级子域名名称，点击保留。

保留成功后复制保留成功的二级子域名的名称。

返回登录 cpolar web UI 管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中。

• 域名类型：选择二级子域名
• Sub Domain：填写保留成功的二级子域名

点击 更新(注意，点击一次更新即可，不需要重复提交)

更新完成后，打开在线隧道列表，此时可以看到公网地址已经发生变化，地址二级名称变成了我们自己设置的二级子域名名称。

再次打开浏览器，输入我们固定的 cpolar 公网地址，可以看到同样访问成功了，这样一个固定的地址就设置好了，不用再担心地址会变化!