Meta 正式发布 Llama 3：开源大模型新标杆与技术解析
Llama 3 正式发布了，Meta 称其为有史以来最强大的开源大模型。本次发布的包括预训练及指令精细调优的语言模型，拥有 80 亿和 700 亿两种参数规模，能够支持更多的应用场景。新一代的 Llama 在多个行业基准测试中展现了其领先的性能，并带来了包括推理能力提升在内的新功能。Meta 坚信，这些是同类产品中最优秀的开源模型。
Llama 3 的宏大目标
通过 Llama 3，Meta 的目标是打造一系列开源模型，这些模型不仅能与市场上最优秀的专有模型匹敌，还在整体帮助性上根据开发者的反馈进行了提升。Meta 致力于在负责任地使用和部署 LLM 方面继续发挥领导作用。Meta 坚持开源的原则，即'尽早发布，频繁更新'，让社区在模型还在开发阶段就能够获取并使用这些模型。Meta 今天推出的文本模型是 Llama 3 系列中的初代产品。Meta 未来的目标是让 Llama 3 支持多语言和多模态交互，提供更长的对话上下文，并在推理和编程等核心能力上持续优化和提升性能。
性能最优表现
今天发布的新型 80 亿和 700 亿参数的 Llama 3 模型比 Llama 2 有大幅度进步，Llama 3 重新定义了 LLM 在这一规模上的最高标准。通过在预训练和后续训练过程中的持续改进，目前 Llama 3 已经成为市场上同样规模参数产品中的佼佼者。后训练流程的优化显著减少了误拒率，提高了模型的对齐性，并丰富了回应的多样性。在推理、代码生成和指令执行等能力上也有明显提升，使得 Llama 3 更易使用。
在开发 Llama 3 的过程中，Meta 不仅评估了模型在标准基准测试上的表现，还专注于优化其在真实世界场景中的表现。为此，他们特别设计了一个高质量的人工评估集，包括 1800 个针对 12 种关键应用场景的提示，如提供建议、创意构思、分类、闭环问答、编程、创意写作、信息提取、角色扮演、开放式问答、推理、文本重写及内容总结等。为防止模型过度适应这一评估集，即使他们自己的模型开发团队也无法接触到这些数据。
根据这一评估集的人工评分，Llama 3 700 亿参数模型在真实场景中的表现显著优于其他同等规模的竞争模型。Llama 3 的预训练模型也在这些规模上树立了新的行业标杆。
为了打造出色的语言模型，Meta 坚信创新、规模扩张及简化优化至关重要。在 Llama 3 项目设计中，始终围绕模型架构、预训练数据、预训练的扩展及指令精细调优这四大核心要素。
模型架构深度解析
在遵循 Meta 的设计理念的基础上，他们为 Llama 3 选择了一种相对标准的仅解码器 Transformer 架构。相比之下，Llama 3 在几个关键方面进行了改进。它使用了一个拥有 128K Token 的分词器，这大大提高了语言编码的效率，进而大幅提升了模型的整体性能。这意味着模型在处理长文本时，所需的 Token 数量更少，从而降低了计算成本和延迟。
为了提升 Llama 3 的推理效率，在 80 亿和 700 亿参数的模型上实施了分组查询注意力机制（Grouped Query Attention, GQA）。这种机制通过共享键值头来减少内存占用和计算量，同时保持注意力质量。这些模型在 8192 Token 的序列上进行训练，通过使用掩码来确保处理过程中不会跨越文档边界，保证了上下文的一致性。
高质量的训练数据构建
要培养出顶尖的语言模型，精心构建一个大型且高质量的训练数据集是至关重要的。Llama 3 的预训练涵盖了超过 15 万亿 Token，全部来源于公开可获取的数据。这个数据集是 Llama 2 使用的数据集的七倍之大，包含的编程数据是四倍之多。考虑到即将支持的多语言场景，超过 5% 的预训练数据包括了 30 多种语言的高质量非英语数据，虽然这些语言的表现可能不及英语。
为了保证 Llama 3 训练数据的高质量，Meta 开发了一系列数据过滤流程，包括启发式过滤、NSFW 过滤、语义去重及利用文本分类器预测数据质量。并且利用 Llama 2 来生成高质量的训练数据，为 Llama 3 提供了强大的支持。Meta 还进行了很多实验，以评估在最终预训练数据集中混合不同来源数据的最佳方式。这些实验使 Meta 能够选择一个确保 Llama 3 在包括琐事问题、STEM、编程、历史知识等用例中表现良好的数据混合。
扩展预训练的探索与实践
Meta 在扩大 Llama 3 预训练的过程中投入了大量的精力。制定了一系列详尽的扩展规则来评估模型在各种下游任务中的表现。这些规则帮助 Llama 3 选择最优的数据组合，并在使用训练计算资源时做出明智的决策。例如，尽管 80 亿参数模型理想的训练计算量是约 2000 亿 Token，但他们发现即使数据量增加了百倍，模型性能仍在持续提升。模型在经过 15 万亿 Token 的训练后，性能还在按对数线性递增。
为了训练规模最大的 Llama 3 模型，Meta 采用了数据并行、模型并行和流水线并行三种并行技术。在使用 16000 GPU 同时训练时，实现了每 GPU400 TFLOPS 以上的计算利用率。还在两个专门构建的 24000 GPU 集群上进行了训练，通过开发先进的训练系统，自动化了错误检测、处理和维护过程，大幅提升了硬件的可靠性和故障检测能力，发展了新的可扩展存储系统以减少数据检查点和回滚的开销。这些改进使得有效训练时间超过了 95%，从而使 Llama 3 的训练效率相比 Llama 2 提高了约三倍。
精细指令调优方法
为了最大限度地挖掘预训练模型在聊天应用中的潜力，Meta 也创新了指令调优的方法。后期的训练方法结合了监督式微调、拒绝采样、近邻策略优化和直接策略优化。这些训练阶段中使用的高质量提示和偏好排序对模型的表现产生了极大的影响。通过精心策划这些数据并对人工注释进行多轮质量检查，我们在模型质量上取得了显著进步。
