llamafile 使用指南
llamafile 是一种革命性的 LLM 分发格式，它将模型权重、运行时和 Web 服务打包成单个可执行文件。这种技术基于 Mozilla 的 APE（Application Portable Executable）格式，实现了'一次构建，到处运行'的跨平台能力。项目核心优势包括：
- 零依赖部署：无需预装 Python、CUDA 或特定系统库
- 跨平台兼容：支持 Windows、macOS、Linux 等主流操作系统
- 数据本地处理：所有计算在本地完成，避免隐私泄露
- 体积优化：采用 GGUF 格式压缩模型，平衡性能与存储需求
步骤一：获取 llamafile 文件
llamafile 提供两种使用方式：内置模型权重的完整包或仅含运行时的轻量版。对于新手，推荐从官方示例开始：
- 下载预打包模型 访问 HuggingFace 获取 LLaVA 多模态模型。该模型支持图像理解，可直接上传图片提问。
- 验证文件完整性 下载完成后检查文件大小，避免因网络中断导致的文件损坏。
⚠️ 注意：Windows 系统存在 4GB 可执行文件限制，若使用超过此容量的模型（如 13B 参数版本），需采用外置权重模式。
步骤二：系统配置与权限设置
不同操作系统需要进行简单的权限配置，以确保 llamafile 能够正常执行：
Windows 系统
- 将下载的文件重命名为
llava-v1.5-7b-q4.llamafile.exe - 右键文件 → 属性 → 安全 → 编辑，确保当前用户拥有'读取和执行'权限
macOS 系统
- 打开终端，导航至下载目录：
cd ~/Downloads - 添加可执行权限：
chmod +x llava-v1.5-7b-q4.llamafile - 解决开发者验证问题： 系统设置 → 隐私与安全性 → 底部允许 "llava-v1.5-7b-q4.llamafile" 运行
Linux 系统
- 终端执行权限命令：
chmod +x llava-v1.5-7b-q4.llamafile
对于部分发行版（如 Ubuntu），可能需要安装 APE 格式支持：
sudo wget -O /usr/bin/ape https://cosmo.zip/pub/cosmos/bin/ape-$(uname -m).elf
sudo chmod +x /usr/bin/ape
sudo sh -c "echo ':APE:M::MZqFpD::/usr/bin/ape:' >/proc/sys/fs/binfmt_misc/register"
步骤三：启动与使用 AI 助手
完成上述准备后，只需一个命令即可启动完整的 AI 服务：
基础启动方式
在终端中执行：
./llava-v1.5-7b-q4.llamafile
首次运行会显示初始化进度，成功后将自动打开浏览器，展示 Web 界面。若浏览器未自动启动，手动访问：http://localhost:8080
高级启动参数
llamafile 提供丰富的命令行选项，优化运行体验：