详细解析了 Meta 发布的 Llama 3.1 系列模型，涵盖 8B、70B 及 405B 三种规格。文章重点介绍了 128K 长上下文窗口、多语言支持及工具调用功能。内容包含各版本在不同精度下的显存需求分析、训练微调资源估算、基准测试数据对比。同时提供了基于 Hugging Face Transformers 的代码示例，包括基础推理、量化加载、内置工具调用及自定义函数调用流程。此外，还探讨了 FP8、AWQ 等量化部署方案及利用合成数据进行模型优化的方法，为开发者提供了完整的落地指南。
Meta 正式发布了 Llama 3.1，这是 Llama 家族的最新成员。此次发布引入了三种规格的开源大语言模型（LLM），分别为 8B、70B 和 405B 参数版本，每种规格均提供基础版（Pre-trained）和指令调优版（Instruct）。此外，还发布了两个安全模型：Llama Guard 3 和 Prompt Guard。
相较于前代产品，Llama 3.1 在架构和能力上实现了显著突破：
运行不同规模的模型对硬件资源有明确要求。以下是训练和推理阶段的内存需求估算。
推理时的显存占用取决于模型规格和权重精度。下表列出了加载模型检查点所需的 GPU VRAM 近似值（不含 KV Cache）：
| 模型规格 | FP16 | FP8 | INT4 |
|---|---|---|---|
| 8B | 16 GB | 8 GB | 4 GB |
| 70B | 140 GB | 70 GB | 35 GB |
| 405B | 810 GB | 405 GB | 203 GB |
注意：上述数字仅表示模型权重加载所需显存。
对于 405B 模型，单卡无法运行，通常需要多节点设置（如 8x H100）或使用低精度量化（如 FP8）。此外，KV Cache 会随上下文长度增加而消耗大量显存。在 FP16 精度下，128K 上下文的 KV Cache 需求如下：
| 模型规格 | 1k token | 16k token | 128k token |
|---|---|---|---|
| 8B | 0.125 GB | 1.95 GB | 15.62 GB |
| 70B | 0.313 GB | 4.88 GB | 39.06 GB |
| 405B | 0.984 GB | 15.38 GB | 123.05 GB |
进行微调时，不同技术路线的显存需求差异巨大：
| 模型规格 | Full Fine-tuning | LoRA | Q-LoRA |
|---|---|---|---|
| 8B | 60 GB | 16 GB | 6 GB |
| 70B | 300 GB | 160 GB | 48 GB |
| 405B | 3.25 TB | 950 GB | 250 GB |
注意：这些数值为估计值，实际部署需根据具体优化策略调整。
基于 Meta 官方提供的评估数据，Llama 3.1 在多个基准测试中表现优异，特别是在复杂推理和多语言能力上。
| 类别 | 基准 | 指标 | Llama 3 8B | Llama 3.1 8B | Llama 3.1 70B | Llama 3.1 405B |
|---|---|---|---|---|---|---|
| 综合 | MMLU | 宏观平均准确率 | 66.7 | 66.7 | 79.5 | 79.3 |
| 综合 | MMLU PRO (CoT) | 宏观平均准确率 | 36.2 | 37.1 | 55.0 | 53.8 |
| 知识推理 | TriviaQA-Wiki | 完全匹配 | 78.5 | 77.6 | 89.7 | 89.8 |
| 阅读理解 | QuAC (F1) | F1 分数 | 44.4 | 44.9 | 51.1 | 51.1 |
Llama 3.1 405B 在 MMLU 上达到了 85.2 分，展现了强大的通用推理能力。
Llama 3.1 需要较新版本的 transformers 库以支持 RoPE 缩放等特性。建议使用 4.43 版或更高。
pip install "transformers>=4.43" --upgrade
以下代码展示了如何使用 pipeline 加载 8B 指令模型。该模型约需 16GB VRAM，适合消费级显卡。
from transformers import pipeline
import torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipe = pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
messages,
max_new_tokens=256,
do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)
为了降低显存占用，可以使用 bitsandbytes 进行 4 位量化加载：
pipeline = pipeline(
"text-generation",
model=model_id,
model_kwargs={
"torch_dtype": torch.bfloat16,
"quantization_config": {"load_in_4bit": True}
},
)
Llama 3.1 指令模型采用特定的对话格式，支持 system、user、assistant 以及新增的 ipython 角色。
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ user_msg_1 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{{ model_answer_1 }}<|eot_id|>
启用代码解释器模式需在系统提示中包含 Environment: ipython。模型将生成 Python 代码，并以 <|python_tag|> 开头，<|eom_id|> 结尾，表示继续多步推理。
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
Environment: ipython
Tools: brave_search, wolfram_alpha
Cutting Knowledge Date: 01 March 2023
Today's Date: 13 July 2024
You are a helpful Assistant.<|eot_id|><|start_header_id|>user<|end_header_id|>
Weather in Menlo Park, California<|eot_id|><|start_header_id|>assistant<|end_header_id|>
<|python_tag|>brave_search.call(query="current weather in Menlo Park, California")<|eom_id|>
执行结果将作为 ipython 角色的输入返回给模型，最终生成自然语言回答。
Llama 3.1 支持通过 JSON 格式调用自定义函数。模型输出标准的 JSON 对象，包含函数名和参数。
{"name": "get_current_conditions", "parameters": {"location": "Menlo Park, CA", "unit": "Fahrenheit"}}
开发者需编写逻辑解析此 JSON，执行对应函数，并将结果回传给模型以生成最终回复。
Meta 提供了多种量化方案以平衡性能与精度。
得益于新的许可条款，用户可利用 Llama 3.1 生成合成数据来微调其他模型。结合 distilabel 框架，可以构建自动化流水线：
pip install "distilabel[hf-inference-endpoints]" --upgrade
Llama 3.1 在上下文长度、多语言支持和工具调用方面取得了重大进展。其开放的许可政策和对量化技术的完善支持，使得企业和个人开发者能够更灵活地部署和定制大模型。无论是构建智能体应用还是垂直领域微调，Llama 3.1 都提供了坚实的基础设施。随着社区生态的丰富，预计其在生产环境中的应用将更加广泛。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online