Llamafile 本地部署大语言模型及远程访问实战
本文主要介绍在 Windows 系统电脑如何利用 llamafile 结合内网穿透工具,实现随时随地远程访问本地大语言模型的完整流程。
llamafile 是一种 AI 大模型部署方案,其独特之处在于可以将模型和运行环境打包成一个独立的可执行文件,从而简化了部署流程。用户只需下载并执行该文件,无需安装运行环境或依赖库。这种创新方案有助于降低使用门槛,且一个文件能同时支持 macOS, Windows, Linux, FreeBSD, OpenBSD, 和 NetBSD 系统。
内网穿透工具可以将本地计算机的服务安全地暴露到公网上,使得外部网络能够轻松访问到本地部署的大语言模型。这种方式不仅简化了远程访问的流程,还大大提高了访问的安全性和稳定性。
1. 下载 llamafile
Windows 点击下载地址,可以下载 llamafile,下载后是一个压缩包,需要解压: https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip
下载后,解压压缩文件,可以看到一个 llamafile.exe 文件,这样就下载成功了,不需要去点击这个文件,下面我们直接下载我们的大语言模型。

2. 下载大语言模型
进入链接:https://www.modelscope.cn/models/bingal/llamafile-models/,可以下载相应的大语言模型。本例下载的是第一个模型,同时是演示超过 4G 的模型如何在 windows 结合 llamafile 去运行。如果低于 4G 的模型,可以有更简单的运行方式,具体可以看一下该链接里的介绍方法。

下载好后,我们把下载的大语言模型和上面我们下载的 llamafile.exe 文件放在一起,然后就可以运行了。下面开始运行,运行也是非常的简单。

3. 运行大语言模型
在当前目录下面,点击左上角文件,直接打开 powershell 命令窗口。

















