MetaLlama 大模型系列，包括 LLaMA 1、LLaMA 2 及 Code Llama 的特性与参数规格。内容涵盖模型获取授权流程，以及多种本地部署方案，重点讲解了 llama.cpp 的编译安装、量化转换与运行模式，Ollama 工具的使用，以及 llama-cpp-python 在 Python 环境下的集成方法。此外，文章还提供了基于 LangChain 框架调用本地模型和 API 服务的完整代码示例，并解决了常见的 NCCL 错误及硬件资源限制问题，旨在帮助开发者快速搭建本地大模型应用环境。
LLaMA (Large Language Model Meta AI) 是由 Meta 开发的基础语言模型集合。参数范围从 7B 到 65B，在数万亿个 Token 上训练。研究表明，仅使用公开可用的数据集即可训练出最先进的模型，无需依赖专有数据。
LLaMA 2 是后续版本，参数规模扩展至 70B。其中 LLaMA 2-Chat 经过微调，专门针对对话用例优化。在大多数基准测试中，其表现优于开源聊天模型，且在有用性和安全性的人工评估中，被视为闭源模型的有力替代品。
Code Llama 是基于 LLaMA 2 的大型代码语言模型系列。它在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力方面提供先进性能。
主要变体包括：
每个模型都有 7B、13B 和 34B 参数版本。所有模型均在 16k 个标记序列上进行训练，并在最多 100k 个标记的输入上显示出改进。7B 和 13B 版本支持基于周围内容的填充（Infilling）。
申请通过后，在 Hugging Face 上如果邮箱一致，会提示已经授权。用户需遵守相应的许可协议，特别是关于代码生成功能的输出可能受第三方许可约束。
使用 LLaMA 模型主要有以下几种方式：
llama.cpp、ollama。langchain 或 hugging face transformers。llama.cpp 是 Facebook LLaMA 模型的 C/C++ 移植版本。它显著降低了硬件要求，适合在个人电脑上运行与测试。
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make
对于 macOS M1/M2 芯片，构建时需要指定 Metal 加速参数：
CMAKE_ARGS="-DLLAMA_METAL=on" make
为了降低资源消耗，通常将原始权重转换为 GGUF 格式并进行量化（如 Q4_0, Q8_0）。
# 获取原始 LLaMA 模型权重并放置于 ./models 目录
# 此步骤可省略，直接下载他人转换好的量化模型
命令行交互模式：
./main -m ./models/llama-2-7b.Q4_0.gguf -i -n 256 --color
开启 Server 模式：
./server -m ./models/llama-2-7b.Q4_0.gguf
启动后，可通过 HTTP 请求访问服务。
Ollama 是一个用于在本地运行大型语言模型的工具，支持 Docker 和原生安装。
ollama serve codellama:7b
启动服务后，默认地址通常为 http://localhost:11434，可访问 /api/generate 等端点。
这是 llama.cpp 的 Python 绑定。
pip install llama-cpp-python
在 Mac M1 上构建时可能需要特殊参数：
CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall
pip install llama-cpp-python[server]
访问 http://localhost:8000/docs 可以看到兼容 OpenAI 格式的 API 文档。
LangChain 提供了与大模型交互的高级抽象，支持本地模型和远程 API。
from langchain.llms import LlamaCpp
llm = LlamaCpp(
model_path="./models/llama-2-7b.Q4_0.gguf",
n_ctx=2048,
n_threads=4,
temperature=0.7,
top_p=0.95
)
response = llm("请介绍一下人工智能")
print(response)
from langchain.chat_models import ChatOpenAI
# 配置为本地服务器地址
chat = ChatOpenAI(
openai_api_base="http://localhost:8000/v1",
openai_api_key="sk-xxx",
model_name="llama-2-7b"
)
response = chat([{"role": "user", "content": "你好"}])
print(response.content)
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
prompt = PromptTemplate(
input_variables=["question"],
template="Question: {question}\nAnswer:"
)
llm_chain = LLMChain(prompt=prompt, llm=llm)
result = llm_chain.run("什么是深度学习？")
print(result)
在使用 torchrun 分布式训练时，可能会遇到以下错误：
RuntimeError: Distributed package doesn't have NCCL built in
这通常发生在 Windows 和 Mac 上，因为 torchrun 依赖 NCCL 后端，而该后端主要针对 Linux 和 GPU 环境优化。在本地 CPU 推理时，建议使用 llama.cpp 或 transformers 的 CPU 模式，避免使用 torchrun。
如果显存或内存不足，请选择更小的参数量（如 7B）或使用更高程度的量化（如 Q2_K, Q3_K）。
MetaLlama 系列模型为开发者提供了强大的本地化 AI 能力。通过 llama.cpp 和 Ollama，可以在消费级硬件上高效运行。结合 LangChain，可以快速构建企业级应用。注意遵守相关许可证和安全规范，负责任地使用大模型技术。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online