基于 Llama 3 报告梳理大模型核心技术。涵盖预训练阶段的数据清洗、混合策略及 Scaling Laws；后训练阶段的 Reward Model、SFT、DPO 对齐方法；以及推理优化中的 KV Cache、GQA、PagedAttention 和量化技术。重点解析了 Llama 3 在数据配比、架构调整及多轮迭代训练上的实践，为理解现代基础模型的构建与部署提供系统性参考。
本文基于 Llama 3 报告，整理现代大语言模型（LLM）的关键技术。内容涵盖预训练、后训练、推理优化等核心环节，包括 RM、DPO、KV Cache、GQA、PagedAttention、Data Parallelism 等技术细节。
Meta 认为高质量基础模型发展的三个关键杠杆是：数据（data）、规模（scale）和复杂度管理（managing complexity）。
总体来看，70B 模型在性价比与性能间取得较好平衡，接近部分闭源模型水准。
Llama 3 相较于 Llama 2 的改动包括：GQA、针对序列内部不同文档的 attention mask、128K tokens 词表、RoPE 调整。
Scaling Law 表明模型性能与计算量、参数量、数据大小相关。Llama 3 采用两阶段方法：先预测下游任务 NLL loss，再关联 task accuracy，以验证 Scaling Law 的有效性。
包括初始预训练、长上下文预训练（逐步增加 context length 至 128K）及退火策略。
后训练策略包括 Reward Model（RM）、SFT、Rejection Sampling（RS）、DPO。训练是迭代式的，共进行 6 轮循环。
利用人类标注的偏好数据（A >> B > C = D）训练得到标量分数，体现人类偏好。Llama 3 去掉了 margin loss，简化了损失函数。
使用交叉熵损失训练 target tokens。数据来源于 Rejection Sampling、合成数据及人工标注。
DPO 是 RLHF 的简化，融合 RM 训练与 RL 过程。损失函数直接优化 chosen-rejected 对。
通过降低精度减少 GPU 占用和计算量。
现代大模型的发展依赖于数据质量、规模扩展及算法优化。从预训练的数据清洗到后训练的偏好对齐，再到推理阶段的并行与量化，各环节的技术进步共同推动了模型能力的提升。理解这些基础技术有助于更好地构建和优化 AI 应用。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
解析常见 curl 参数并生成 fetch、axios、PHP curl 或 Python requests 示例代码。 在线工具，curl 转代码在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
