本文介绍了如何在本地使用 Python 和 llama.cpp 库运行 Meta 发布的 LLaMA2 开源大语言模型。内容涵盖环境搭建、模型下载、代码示例及关键参数（如 temperature、max_tokens）的配置说明，旨在帮助开发者在低配置硬件上实现私有化部署与推理。
LLaMA (Large Language Model Meta AI) 是 Meta AI 于 2023 年发布的开源大型语言模型系列，参数规模涵盖 7B 至 65B。最新版本已迭代至 LLaMA 3。该模型在多项基准测试中表现优异，且允许研究者和开发者在合规前提下进行本地部署与微调。
llama.cpp 是一个开源 C++ 库，它用 C++ 重写了 LLaMA 的推理代码。其核心优势在于支持 CPU 上加载运行 LLaMA 语言模型，极大地降低了对硬件的要求（例如 RAM 开销可低于 4GB），使得在普通笔记本电脑甚至树莓派上运行大模型成为可能。
首先需要安装 llama-cpp-python 作为 Python 接口。建议使用虚拟环境以避免依赖冲突。
pip install llama-cpp-python
注意：部分系统可能需要先安装编译工具链（如 cmake, ninja-build）才能成功编译底层 C++ 代码。
从 Hugging Face 等平台下载已经量化好的 GGUF 格式模型文件。GGUF 是 llama.cpp 推荐的通用模型格式，支持多种量化级别（如 Q4_K_M, Q8_0 等），可在精度与显存占用之间取得平衡。
推荐模型示例：
以下 Python 脚本展示了如何加载模型并基于输入 prompt 获取输出。对于 Zephyr-7b-beta 或 LLaMA2 等模型，prompt 输入支持多种自然语言。
from llama_cpp import Llama
# 初始化模型，指定本地模型路径
llm = Llama(
model_path="./models/llama-2-7b-chat.Q4_K_M.gguf",
n_ctx=2048,
n_threads=4,
verbose=False
)
# 定义 Prompt
prompt = "What is the capital of France?"
# 生成回答
output = llm(
prompt,
max_tokens=128,
temperature=0.7,
stop=["\n", "User:"],
echo=True
)
print(output["choices"][0]["text"])
在调用模型生成时，以下参数对输出质量有重要影响：
'\n' 表示换行则终止输出，或者自定义停止符如 'User:' 以适配对话格式。针对不同 Prompt，模型对于同一个问题给出的输出可能截然不同，这取决于温度设置和上下文窗口的大小。
n_ctx 上下文长度。n_threads 匹配物理核心数以获得最佳性能。通过 llama.cpp 和 Python 接口，开发者可以在本地低成本地部署和运行 LLaMA2 等大语言模型。这种方式不仅保护了数据隐私，还避免了 API 调用的费用，非常适合个人开发、离线场景及教育用途。随着量化技术的进步，未来在消费级硬件上运行更大参数的模型将成为常态。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online