使用 llamafile 一键运行本地大模型指南

llamafile 除了提供 Web UI 外，还提供了一个位于 http://127.0.0.1:8080/ 的 API 端点。该端点完全兼容 OpenAI Chat Completions API，支持本地化调用。

使用 Curl 调用

可以通过命令行工具直接发送请求进行测试：

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "default",
    "messages": [{"role": "user", "content": "你好，请介绍一下你自己。"}]
  }'

使用 Python 调用

对于开发者，可以使用 Python 的 requests 库进行集成：

import requests

url = "http://localhost:8080/v1/chat/completions"
headers = {"Content-Type": "application/json"}
data = {
    "model": "default",
    "messages": [
        {"role": "system", "content": "你是一个有用的助手。"},
        {"role": "user", "content": "如何安装 llamafile？"}
    ],
    "temperature": 0.7,
    "max_tokens": 512
}

response = requests.post(url, headers=headers, json=data)
print(response.json())

高级参数

llamafile 扩展了部分 llama.cpp 特有的功能，例如 mirostat 采样策略。具体可用字段请参考项目 README 文档中的 OpenAI 兼容说明。

常见问题与优化

1. 运行速度慢怎么办？

• 检查硬件加速：确保系统已正确安装 CUDA 驱动（NVIDIA）或 Metal 框架（macOS），并在启动参数中启用 GPU 加速。
• 选择量化版本：优先使用 q4_k_m 或 q5_k_m 等平衡速度与精度的量化模型，避免使用 FP16 全精度模型除非显存充足。

2. 内存不足报错

• 尝试加载参数量更小的模型（如 3B 或 1B 版本）。
• 关闭其他占用大量内存的应用程序。

3. 端口被占用

如果 8080 端口已被占用，可以通过环境变量指定其他端口：

PORT=8081 ./llava-v1.5-7b-q4.llamafile

安全性与隐私

llamafile 的最大优势在于数据不出本地。所有模型权重、提示词及生成结果均存储在用户自己的设备上，不会上传至任何第三方服务器。这对于处理敏感数据、企业私有知识库或医疗法律场景尤为重要。

总结

llamafile 极大地降低了本地运行大模型的门槛，使得个人开发者甚至普通用户也能轻松体验 AI 能力。它结合了便利性与隐私保护，是探索本地 AI 应用的理想工具。随着生态的发展，未来将支持更多模型格式和功能特性。

如需了解更多详细信息或参与贡献，请访问官方 GitHub 仓库：https://github.com/Mozilla-Ocho/llamafile