llama-cpp-python 从安装到性能优化指南

代码示例

构建完整的聊天应用验证配置：

from llama_cpp import Llama

def init_chat_model():
    """初始化聊天模型"""
    llm = Llama(
        model_path="./models/chat-model.gguf",
        n_ctx=2048,       # 上下文长度
        n_threads=4,      # 线程数
        verbose=True      # 显示详细日志
    )
    return llm

def chat_with_ai(llm, message):
    """与 AI 进行对话"""
    response = llm.create_chat_completion(
        messages=[{"role": "user", "content": message}]
    )
    return response['choices'][0]['message']['content']

if __name__ == "__main__":
    model = init_chat_model()
    answer = chat_with_ai(model, "请用中文回答：什么是机器学习？")
    print("AI 回复：", answer)

常见问题

Windows 系统问题

如果遇到 "找不到 nmake" 错误，设置以下环境变量：

$env:CMAKE_GENERATOR = "MinGW Makefiles"
$env:CMAKE_ARGS = "-DGGML_OPENBLAS=on -DCMAKE_C_COMPILER=C:/w64devkit/bin/gcc.exe"

内存不足问题

对于内存有限的设备，使用量化模型并调整参数：

llm = Llama(
    model_path="./models/7b-model-q4_0.gguf", # 4 位量化版本
    n_ctx=1024,                               # 减少上下文长度
    n_batch=128                               # 减小批处理大小
)

模型加载失败

确保模型文件路径正确，且文件格式为 GGUF。可从官方仓库下载预训练模型。

高级功能

OpenAI 兼容 API 服务器

from llama_cpp.server.app import create_app
app = create_app(model_path="./models/your-model.gguf")
app.run(host="0.0.0.0", port=8000)

多模态模型支持

from llama_cpp import Llama, Llava15Model
model = Llava15Model.from_pretrained("your-multimodal-model")

函数调用功能

利用模型的原生函数调用能力，构建更智能的 AI 应用。