Meta 发布了 Llama 3 大模型，包含 8B 和 70B 两个版本。相比 Llama 2，词汇量提升至 128k，训练数据达 15T token，上下文窗口扩展至 8k。在 MMLU、HumanEval 等基准测试中表现优异。训练数据涵盖 30 多种语言，知识库截止时间分别为 2023 年 3 月和 12 月。采用 GQA 机制优化推理效率，安全性与对齐能力显著增强。未来将推出多模态及更长上下文模型，支持本地及云端部署。
Meta 近期正式发布了 Llama 3 系列大语言模型，标志着开源大模型领域迈上了新台阶。相较于前代产品，Llama 3 在架构设计、训练数据规模及推理能力上均有显著提升。以下是对 Llama 3 的核心特性、性能表现及应用前景的详细总结。
Llama 3 的正式发布时间为北京时间 4 月 19 日 0 点 37 分，这一时间点主要依据 Meta 首席 AI 科学家 Yann LeCun 在社交媒体上的公告确认。此次发布旨在进一步巩固 Meta 在开源 AI 领域的领导地位，并为开发者提供更强大的基础模型工具。
目前 Llama 3 首发推出了两款核心模型版本：
这两款模型均采用了相同的架构设计理念，但在参数量和训练细节上有所区分，以满足不同场景的需求。
相比 Llama 2，Llama 3 在多个关键维度实现了显著升级：
Llama 3 的词汇量提升至 128k，而 Llama 2 为 32k。更大的词汇表意味着更少的 token 分割，能够更精准地表达语义，尤其在处理多语言和非英语内容时优势明显。
Llama 3 使用了超过 15T（万亿）token 进行预训练，是 Llama 2 训练数据量的 7 倍。数据的丰富度直接决定了模型的泛化能力和知识储备。
Llama 3 的基础上下文窗口为 8k，相比 Llama 2 的 4k 翻倍。虽然对于超长文档处理仍有提升空间，但已能满足大多数常规应用需求。官方表示后续将支持更长的上下文窗口。
两个模型均采用了分组查询注意力（GQA, Grouped Query Attention）。在 Llama 2 中，仅 70B 版本支持 GQA，而 Llama 3 的所有版本均标配此技术，有效降低了显存占用并提升了推理速度。
综合各项基准测试，Llama 3 的整体性能全面优于 Llama 2，特别是在代码生成、数学推理及指令遵循方面表现突出。
Llama 3 在多个权威基准测试中展现了卓越的性能，涵盖了学科知识、通用问答、代码能力及数学推理等多个领域：
无论是 Llama 3-8B 还是 Llama 3-70B，在上述测试中均优于同量级的其他优秀开源模型。
为了评估现实场景下的性能，开发人员还构建了一套高质量的人类评估集。该评估集包含 1,800 个提示，涵盖 12 个关键用例：寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色、开放式问答、推理、重写和总结。为避免模型过拟合，即使是 Llama 3 的开发团队也无法访问该评估集，确保了测试结果的客观性。
Llama 3 经过 15T token 以上的预训练，官方声明这些数据全部从公开来源收集。相比 Llama 2，数据集规模扩大了 7 倍，且对数据质量进行了更严格的清洗和过滤。
超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言的高质量非英语数据组成。这使得模型在多语言环境下具备更好的适应性，尽管部分小语种的性能水平可能仍不及英语，但已大幅缩小了差距。
Llama 3 在安全对齐方面投入了大量资源。通过人类反馈强化学习（RLHF）和基于规则的过滤，模型在减少有害输出、偏见及幻觉方面有了明显改善。系统提示词（System Prompt）的设计也更加规范，有助于引导模型输出符合预期的内容。
用户可以通过第三方平台如 Replicate 等快速体验 Llama 3，无需本地部署，直接通过 API 调用即可。
对于有隐私需求的用户，可以将模型下载并在本地运行。建议使用支持量化技术的框架（如 llama.cpp、vLLM 等）以降低硬件要求。8B 版本可在消费级显卡上流畅运行，70B 版本则需要更高配置的服务器。
部分官方接口（如 MetaAI）可能存在地区限制，国内用户在使用时需注意网络环境及合规性要求。
Meta 计划在后续几个月内发布更多具有新功能的模型版本，包括：
此外，一个参数量约为 400B 的超大模型仍在训练中，其基准测试显示潜力巨大，有望成为下一代行业标杆。
Llama 3 的发布再次证明了开源社区在推动 AI 技术进步中的重要作用。随着模型能力的不断提升和部署门槛的降低，开发者将有更多机会利用大模型构建创新应用。掌握 AI 技术已成为提升个人竞争力的关键，建议从业者关注最新的技术动态，积极实践，将 AI 能力融入实际业务场景中。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
