Llama3.1 开源标志着大模型格局变化，其性能媲美闭源模型。文章深入解析了 Llama3.1 的 Dense 模型结构、三阶段预训练流程及数据配比策略。重点阐述了 SFT+DPO 的后训练模式，对比了 MOE 与 Dense 的优劣，并探讨了小模型崛起的关键要素如蒸馏、Annealing Data 及合成数据的应用。最后分析了开源对行业的影响及未来大模型发展的三大驱动力，强调了数据质量与合成数据在未来模型演进中的核心地位。
Llama3.1 系列模型的开源，真让大模型格局大震，指标上堪比最好的闭源模型比如 GPT-4o 和 Claude3.5，让开源追赶闭源成为现实。这里主要对 LLaMA3.1 的模型结构、训练过程进行分享，并对其带来的影响、小模型要如何做、合成数据等方面谈点看法。
LLaMa3 的模型结构如上图所示，这基本已经形成目前 Dense LLM 模型的标准结构了，绝大多数 LLM 模型结构都与此非常接近。而很多采取 MOE 结构的 LLM 模型，其变化无非是把上图的 FFN 模块里的单个 SwiGLU 模块拓展成 K 个并联的 SwiGLU 模块，形成多个专家，再加上一个路由子网络来选择目前 Token 走这么多专家里的哪几个，如此而已，基本结构也差不太多。
所以不要误会，MOE 是 Transformer 的一种变体，不是独立的模型结构。很多目前的新型结构，其实是'线性 Transformer'结构的变体，目前很少有结构能逃脱 Transformer 架构的影响，都处在它的阴影下。当然我对新结构持支持态度，Transformer 被替换只是时间问题，只不过这不是当前制约大模型能力的瓶颈，改变的迫切性没那么大而已。
之所以 LLaMA 结构基本快形成行业标准，我觉得有两个原因：
从这里就看出 Meta 坚决走开源路线的高明之处了，早开源早形成影响力早成为行业标准，那么以后 LLM 的技术路线做技术选型话语权就非常大，其他人就比较被动。谷歌因为一心二用开源不坚决，有点错失时机。
Llama3.1 预训练包括三个主要阶段：(1) 初始预训练，(2) 长上下文预训练，以及 (3) 退火（Annealing）。总体而言，和目前一些其它开源模型的训练过程差别不大，不过技术报告公开了很多技术细节。
就是常规的预训练阶段，训练初期使用较小 Batch Size 以稳定训练，随后逐步增大以提高效率，最终达到 16M token 的 Batch 大小。为了提升模型的多语言和数学推理能力，增加了非英语和数学数据的比例。
在预训练的后面阶段，采用长文本数据对长序列进行训练，支持最多 128K token 的上下文窗口。采取逐步增加上下文窗口长度策略，在 Llama3.1 405B 的预训练中，从最初的 8K 上下文窗口开始，逐步增加上下文长度，最终达到 128K 上下文窗口。这个长上下文预训练阶段使用了大约 800B 训练 token 数据。
在预训练的最后 4000 万个 token 期间，线性地将学习率退火至 0，同时保持上下文长度为 128K 个 token。在这一退火阶段，调整了数据混合配比，以增加高质量数据比如数学、代码、逻辑内容的影响。最后，将若干退火期间模型 Check Point 的平均值，作为最终的预训练模型。在训练后期对高质量数据进行上采样目前其实也是比较标准的做法。
不同类型的数据配比如何配置大模型才能有最好的效果？这可能是目前大模型预训练仅剩的唯一秘密了，LLama3.1 报告对此做了披露，他们先通过小规模实验确定最优配比，然后将之应用到大模型的训练中。
结论是：
这种配比显著提升了模型在理性任务（如数学推理、代码生成）上的表现，同时也保证了通用对话的流畅性。
目前 LLM 的 Post-Training 主要有两种模式，一种是仿照 ChatGPT 的 SFT+RM+PPO 的模式，采用强化学习，需要调的超参很多，比较复杂不太好调通；另外一种是 SFT+DPO 的模式，去掉了 PPO 强化学习，相对简化了整个流程，比较容易跑起来。LLaMA3.1 在这个阶段主体结构是 SFT+DPO 的模式，不过也有自己特殊的一些设计，上图展示了 LLaMA3.1 整个 Post-Training 的流程。
首先用人工标注数据训练 RM 模型，用来评价一个<Prompt,answer>数据的质量，然后用 RM 参与拒绝采样（Rejection Sampling），就是说对于一个人工 Prompt，用模型生成若干个回答，RM 给予质量打分，选择得分最高的保留作为 SFT 数据，其它抛掉。这样得到的 SFT 数据再加上专门增强代码、数学、逻辑能力的 SFT 数据一起，用来调整模型得到 SFT 模型。
之后用人工标注数据来使用 DPO 模型调整 LLM 参数，DPO 本质上是个二分类，就是从人工标注的<Prompt，Good Answer，Bad Answer>三元数据里学习，调整模型参数鼓励模型输出 Good Answer，不输出 Bad Answer。这算完成了一个迭代轮次的 Post-Training。
上述过程会反复迭代几次，每次的流程相同，不同的地方在于拒绝采样阶段用来对给定 Prompt 产生回答的 LLM 模型，会从上一轮流程最后产生的若干不同 DPO 模型（不同超参等）里选择最好的那个在下一轮拒绝采样阶段给 Prompt 生成答案。很明显，随着迭代的增加 DPO 模型越来越好，所以拒绝采样里能选出的最佳答案质量越来越高，SFT 模型就越好，如此形成正反馈循环。
可以看出，尽管 RLHF 和 DPO 两种模式都包含 RM，但是用的地方不一样，RLHF 是把 RM 打分用在 PPO 强化学习阶段，而 LLaMA3.1 则用 RM 来筛选高质量 SFT 数据。而且因为拒绝采样的回答是由 LLM 产生的，可知这里大量采用了合成数据来训练 SFT 模型。
MOE 结构会让模型效果更好吗？答案是否定的。这个在很久以前 ChatGPT 火之前就有研究结论，从对模型效果的影响来说，MOE 结构相对 Dense 模型本身并不会带来额外优势，甚至是有劣势的。MOE 的主要优势是减少训练和推理成本，付出的代价是训练不够稳定以及推理时额外付出大内存来存储膨胀的参数量。
但当用户量大请求多的时候，推理成本占比会更高，此时使用 MOE 对于推理会更友好，这是为何当模型大到一定程度模型结构就会从 Dense 转向 MOE 的主要原因，是出于成本、效率而非效果角度考虑。我之前看到有些介绍说 MOE 结构效果更好，这种观点是没有事实依据的。
Llama3.1 405B 之所以没有采用 MOE，技术报告指出主要是考虑到 Dense 模型训练更稳定，所以选择了 Dense 结构。相比 GPT 4 的 1.8T 的 MOE 模型结构，405B 的 Dense 模型效果与之相当甚至要更好一些（当然，不排除 GTP 4 目前已经是一个蒸馏小模型的可能）。
前几个月关于开源和闭源大模型谁优谁劣争吵的很厉害，不同立场者各执一词，上图展示了开源和闭源模型随着时间能力差异曲线，可以看出两者差距随着时间是逐步减小的，而 LLaMA3.1 405B 让两线出现了交点，我想这图基本可以终结'开源闭源之争'了。
LLaMA3.1 405B 的开源，对于其它无论闭源还是开源模型，都有重大影响。对于闭源模型，如果其能力还赶不上 LLaMA3.1，就需要向公众解释对用户收费的依据问题（除了覆盖推理成本外的费用）。对于开源模型而言，如果能力不如 LLaMA3.1，就需要考虑如何作出差异化和不同特色的问题。
目前看 Meta 继续开源比如 LLaMA4 等后续更强模型的决心是比较大的（毕竟从大模型开源带来的股价上涨就能覆盖成本了，这买卖合算的），随着 LLaMA4 的进一步开源，形势将逼迫很多原先定位为基础模型 AGI 的创业公司转向特色产品赛道。我觉得这其实是个负面作用，尤其是对开源界，即使是开源赛道也是百家争鸣比一两家独大要好，但是逐渐收敛看样子不可避免。
我觉得之后一方面要重视 LLAMA 和 Gemma 的中文化工作，让中文支持效果更好。如果这方面作出特点，完全可以实现小公司、小投入，但是拥有当前最强中文模型的能力，从能力角度看，并不弱于获得大量资金支持的专业大模型公司，而从投入角度则小的多，性价比很高。
另外一方面，在做小模型的时候，要注重用 LLaMA3.1 405B 这种最强开源模型来蒸馏小模型的思路，这样做对小模型效果提升会非常明显，很明显这也是小投入高产出合算的买卖。
最近半年小模型在快速崛起，各种开源小模型此起彼伏，且效果也越来越好。小模型无论是训练成本、推理成本还是对于用户数据隐私保护，相比大模型都有独到的好处。唯一的问题是效果，只要 Scaling law 成立，就可以推断出小模型效果不会比超大规模模型效果好，否则就直接反证了 Scaling law 是不成立的。
所以小模型的关键点在于：在模型规模大小受限的情况下，如何通过其它技术手段来不断提升模型效果，最好的结局是小模型尺寸比最大模型小很多倍，但是效果逐步逼近最大模型的效果，两者差距越来越小。
这样美好的结局会出现么？目前看有极大可能会达成这一目标。从最近一年各种技术进展来说，我归纳下，不断提升小模型效果的三个关键因素：
要打破 Optimal Chinchilla Law，在保证质量前提下加大数据数量，这个肯定是有效的。去年早些时候有些模型就比较实在，比如 pythia 和 Llama 1，严格遵循这个法则，导致相同规模的模型效果远比不上那些大量增加数据的模型。后来大家都开始猛加数据，小模型的效果就越来越好。
从开源角度来看，这个武器相对较新，而且我判断用蒸馏来提升小模型效果的能力非常强大。所谓'蒸馏'，就是说在预训练阶段小模型作为 Student，大模型作为 Teacher，Teacher 告诉 Student 更多信息来提升小模型效果。
原先小模型预训练目标是根据上文 context 信息正确预测 Next Token，而蒸馏则改成 Teacher 把自己做相同上下文做 Next Token 预测的时候，把 Token 词典里每个 Token 的生成概率都输出来，形成 Next Token 的概率分布，这就是 Teacher 交给 Student 的额外附加信息，小模型从原先的预测 Next Token 改为预测 Next Token 的概率分布，要求和 Teacher 输出的分布尽量一致，这样就学到了 Teacher 的内部信息。
Gemma 2 采用模型蒸馏对于小版本模型提升非常明显。Llama3.1 技术报告貌似没有看到采用这个技术，但是在宣传页里到处暗示你应该拿 405B 模型作为 Teacher 去蒸馏自己的小模型，无疑这会是很有效提升小模型能力的新武器。感觉其它模型在这里没有足够的重视，而之后这应该成为普及方案。而研究怎样的蒸馏方法是最好的会是一个重要研究领域。
这个说法是 Llama3.1 技术报告提的，但是其实去年很多模型应该已经这么做了，只是叫法不一样。核心思想就是在预训练的最后阶段，对高质量数据比如数学、逻辑、代码数据进行上采样，增加其影响。LLama3.1 技术报告说这招对 405B 模型不怎么起作用，但是对 8B 小模型在逻辑代码能力方面有明显提升。
根据现有资料分析，我推断模型蒸馏和 Annealing Data 很可能存在一种'反规模效应'，就是说小模型的参数规模越小，上这两个技术对其正面影响越大。（推断的，没明确证据，谨慎参考）所以在研发小模型时尤其注意要引入这两项改进，三个武器并用，我觉得作出接近最强大模型能力的小模型目前看是可行的。（其实还有一个重要因素，就是 Post-Training 阶段合成数据的影响，这个对几乎所有尺寸模型都成立，所以放在后面'驱动大模型效果提升三要素'分析了，对小模型也成立）
其实从 ChatGPT 火了以后看各种大模型的技术报告，包括 LLama 系列模型在内，可以看出大模型之所以能力仍在快速提升，主要驱动力有三个：首先就是不断扩大模型和数据规模（Scaling Law）。除此外，在数据方面有两个发展趋势：一个是越来越强调数据质量的作用，各种数据筛选方法和工具越来越多，保证质量是第一位的（这个早在 Google T5 时代就能推出这个结论，目前只是进一步验证并延续这个思路而已）。第二个是不断增加数学、逻辑、代码这种能够提升大模型理性能力的数据配比比例，包括在预训练阶段（增加预训练数据此类数据比例，且在预训练后面阶段来上采样此类数据，就是说同样数据多执行几遍，以增加其对模型参数影响的权重）和 Post-Training 阶段（增加此类数据占比，Llama3.1 的经过 instruct 的模型比仅做预训练模型相比，各种尺寸的效果提升都很大）皆是如此。
目前看，在通用数据快被用完情况下，第三个因素会成为之后大模型进步的主导力量，包括使用数学、逻辑、代码合成数据在 Post-Training 阶段的应用，目前技术也越来越成熟，其质量和数量会是决定未来大模型效果差异的最关键因素。
Llama3.1 的发布不仅标志着开源大模型能力的重大突破，也为行业提供了宝贵的技术参考。通过优化数据结构、改进训练策略以及利用合成数据，开发者可以在有限的资源下构建高性能模型。未来，随着蒸馏技术和合成数据方法的进一步成熟，小模型与大模型之间的性能鸿沟有望进一步缩小，这将极大地降低 AI 应用的门槛，推动更多创新场景的落地。对于企业和开发者而言，紧跟开源生态，合理利用最佳实践，将是应对技术变革的关键。
微信公众号「极客日志」，在微信中扫描左侧二维码关注。展示文案：极客日志 zeeklog
使用加密算法（如AES、TripleDES、Rabbit或RC4）加密和解密文本明文。 在线工具，加密/解密文本在线工具，online
生成新的随机RSA私钥和公钥pem证书。 在线工具，RSA密钥对生成器在线工具，online
基于 Mermaid.js 实时预览流程图、时序图等图表，支持源码编辑与即时渲染。 在线工具，Mermaid 预览与可视化编辑在线工具，online
将字符串编码和解码为其 Base64 格式表示形式即可。 在线工具，Base64 字符串编码/解码在线工具，online
将字符串、文件或图像转换为其 Base64 表示形式。 在线工具，Base64 文件转换器在线工具，online
将 Markdown（GFM）转为 HTML 片段，浏览器内 marked 解析；与 HTML转Markdown 互为补充。 在线工具，Markdown转HTML在线工具，online
