Llama3.1 深度解读：结构、训练与数据合成技术

• 50% 的通用知识 Token；
• 25% 的数学与逻辑 Token；
• 17% 的代码 Token；
• 8% 的多语言 Token。

这种配比显著提升了模型在理性任务（如数学推理、代码生成）上的表现，同时也保证了通用对话的流畅性。

LLaMA3.1 的 Post-Training

目前 LLM 的 Post-Training 主要有两种模式，一种是仿照 ChatGPT 的 SFT+RM+PPO 的模式，采用强化学习，需要调的超参很多，比较复杂不太好调通；另外一种是 SFT+DPO 的模式，去掉了 PPO 强化学习，相对简化了整个流程，比较容易跑起来。LLaMA3.1 在这个阶段主体结构是 SFT+DPO 的模式，不过也有自己特殊的一些设计，上图展示了 LLaMA3.1 整个 Post-Training 的流程。

首先用人工标注数据训练 RM 模型，用来评价一个<Prompt,answer>数据的质量，然后用 RM 参与拒绝采样（Rejection Sampling），就是说对于一个人工 Prompt，用模型生成若干个回答，RM 给予质量打分，选择得分最高的保留作为 SFT 数据，其它抛掉。这样得到的 SFT 数据再加上专门增强代码、数学、逻辑能力的 SFT 数据一起，用来调整模型得到 SFT 模型。

之后用人工标注数据来使用 DPO 模型调整 LLM 参数，DPO 本质上是个二分类，就是从人工标注的<Prompt，Good Answer，Bad Answer>三元数据里学习，调整模型参数鼓励模型输出 Good Answer，不输出 Bad Answer。这算完成了一个迭代轮次的 Post-Training。

上述过程会反复迭代几次，每次的流程相同，不同的地方在于拒绝采样阶段用来对给定 Prompt 产生回答的 LLM 模型，会从上一轮流程最后产生的若干不同 DPO 模型（不同超参等）里选择最好的那个在下一轮拒绝采样阶段给 Prompt 生成答案。很明显，随着迭代的增加 DPO 模型越来越好，所以拒绝采样里能选出的最佳答案质量越来越高，SFT 模型就越好，如此形成正反馈循环。

可以看出，尽管 RLHF 和 DPO 两种模式都包含 RM，但是用的地方不一样，RLHF 是把 RM 打分用在 PPO 强化学习阶段，而 LLaMA3.1 则用 RM 来筛选高质量 SFT 数据。而且因为拒绝采样的回答是由 LLM 产生的，可知这里大量采用了合成数据来训练 SFT 模型。

LLama3.1 405B 为何不用 MOE 结构？

MOE 结构会让模型效果更好吗？答案是否定的。这个在很久以前 ChatGPT 火之前就有研究结论，从对模型效果的影响来说，MOE 结构相对 Dense 模型本身并不会带来额外优势，甚至是有劣势的。MOE 的主要优势是减少训练和推理成本，付出的代价是训练不够稳定以及推理时额外付出大内存来存储膨胀的参数量。

但当用户量大请求多的时候，推理成本占比会更高，此时使用 MOE 对于推理会更友好，这是为何当模型大到一定程度模型结构就会从 Dense 转向 MOE 的主要原因，是出于成本、效率而非效果角度考虑。我之前看到有些介绍说 MOE 结构效果更好，这种观点是没有事实依据的。

Llama3.1 405B 之所以没有采用 MOE，技术报告指出主要是考虑到 Dense 模型训练更稳定，所以选择了 Dense 结构。相比 GPT 4 的 1.8T 的 MOE 模型结构，405B 的 Dense 模型效果与之相当甚至要更好一些（当然，不排除 GTP 4 目前已经是一个蒸馏小模型的可能）。

LLaMA3.1 模型带来的影响

开源模型效果快速追赶闭源模型

前几个月关于开源和闭源大模型谁优谁劣争吵的很厉害，不同立场者各执一词，上图展示了开源和闭源模型随着时间能力差异曲线，可以看出两者差距随着时间是逐步减小的，而 LLaMA3.1 405B 让两线出现了交点，我想这图基本可以终结'开源闭源之争'了。

LLaMA3.1 405B 的开源，对于其它无论闭源还是开源模型，都有重大影响。对于闭源模型，如果其能力还赶不上 LLaMA3.1，就需要向公众解释对用户收费的依据问题（除了覆盖推理成本外的费用）。对于开源模型而言，如果能力不如 LLaMA3.1，就需要考虑如何作出差异化和不同特色的问题。

目前看 Meta 继续开源比如 LLaMA4 等后续更强模型的决心是比较大的（毕竟从大模型开源带来的股价上涨就能覆盖成本了，这买卖合算的），随着 LLaMA4 的进一步开源，形势将逼迫很多原先定位为基础模型 AGI 的创业公司转向特色产品赛道。我觉得这其实是个负面作用，尤其是对开源界，即使是开源赛道也是百家争鸣比一两家独大要好，但是逐渐收敛看样子不可避免。

我觉得之后一方面要重视 LLAMA 和 Gemma 的中文化工作，让中文支持效果更好。如果这方面作出特点，完全可以实现小公司、小投入，但是拥有当前最强中文模型的能力，从能力角度看，并不弱于获得大量资金支持的专业大模型公司，而从投入角度则小的多，性价比很高。

另外一方面，在做小模型的时候，要注重用 LLaMA3.1 405B 这种最强开源模型来蒸馏小模型的思路，这样做对小模型效果提升会非常明显，很明显这也是小投入高产出合算的买卖。

小模型崛起三要素

最近半年小模型在快速崛起，各种开源小模型此起彼伏，且效果也越来越好。小模型无论是训练成本、推理成本还是对于用户数据隐私保护，相比大模型都有独到的好处。唯一的问题是效果，只要 Scaling law 成立，就可以推断出小模型效果不会比超大规模模型效果好，否则就直接反证了 Scaling law 是不成立的。

所以小模型的关键点在于：在模型规模大小受限的情况下，如何通过其它技术手段来不断提升模型效果，最好的结局是小模型尺寸比最大模型小很多倍，但是效果逐步逼近最大模型的效果，两者差距越来越小。

这样美好的结局会出现么？目前看有极大可能会达成这一目标。从最近一年各种技术进展来说，我归纳下，不断提升小模型效果的三个关键因素：

第一个武器：预训练阶段增加训练数据数量和质量

要打破 Optimal Chinchilla Law，在保证质量前提下加大数据数量，这个肯定是有效的。去年早些时候有些模型就比较实在，比如 pythia 和 Llama 1，严格遵循这个法则，导致相同规模的模型效果远比不上那些大量增加数据的模型。后来大家都开始猛加数据，小模型的效果就越来越好。

第二个武器：模型蒸馏

从开源角度来看，这个武器相对较新，而且我判断用蒸馏来提升小模型效果的能力非常强大。所谓'蒸馏'，就是说在预训练阶段小模型作为 Student，大模型作为 Teacher，Teacher 告诉 Student 更多信息来提升小模型效果。

原先小模型预训练目标是根据上文 context 信息正确预测 Next Token，而蒸馏则改成 Teacher 把自己做相同上下文做 Next Token 预测的时候，把 Token 词典里每个 Token 的生成概率都输出来，形成 Next Token 的概率分布，这就是 Teacher 交给 Student 的额外附加信息，小模型从原先的预测 Next Token 改为预测 Next Token 的概率分布，要求和 Teacher 输出的分布尽量一致，这样就学到了 Teacher 的内部信息。

Gemma 2 采用模型蒸馏对于小版本模型提升非常明显。Llama3.1 技术报告貌似没有看到采用这个技术，但是在宣传页里到处暗示你应该拿 405B 模型作为 Teacher 去蒸馏自己的小模型，无疑这会是很有效提升小模型能力的新武器。感觉其它模型在这里没有足够的重视，而之后这应该成为普及方案。而研究怎样的蒸馏方法是最好的会是一个重要研究领域。

第三个武器：Annealing Data

这个说法是 Llama3.1 技术报告提的，但是其实去年很多模型应该已经这么做了，只是叫法不一样。核心思想就是在预训练的最后阶段，对高质量数据比如数学、逻辑、代码数据进行上采样，增加其影响。LLama3.1 技术报告说这招对 405B 模型不怎么起作用，但是对 8B 小模型在逻辑代码能力方面有明显提升。

根据现有资料分析，我推断模型蒸馏和 Annealing Data 很可能存在一种'反规模效应'，就是说小模型的参数规模越小，上这两个技术对其正面影响越大。（推断的，没明确证据，谨慎参考）所以在研发小模型时尤其注意要引入这两项改进，三个武器并用，我觉得作出接近最强大模型能力的小模型目前看是可行的。（其实还有一个重要因素，就是 Post-Training 阶段合成数据的影响，这个对几乎所有尺寸模型都成立，所以放在后面'驱动大模型效果提升三要素'分析了，对小模型也成立）

合成数据进入实用化阶段

• 在 Post-Training 阶段，合成数据目前已经产品化。尤其是其中的 SFT 阶段，目前看在朝着完全由合成数据主导的方向发展。比如 LLama3.1 的 SFT 数据里有相当比例是由模型生成的合成数据，而 Gemma2 在 SFT 阶段的数据很大比例是由规模更大的模型合成的，且证明了合成数据质量不比人工标注质量差。
• 在预训练阶段，类似 Dalle-3 和 Sora 这种由语言大模型根据图片或视频改写人写好的文字描述，也已实用化。
• 目前合成数据的一个重点方向是在 Post-Training 阶段对数学、逻辑、代码等数据的合成，数据质量将直接极大影响模型最终效果。
• 严格来说，目前的所谓合成数据只是'半合成数据'，比如 Sora 的<视频，人写文字描述<视频，模型改写文字描述>，以及 Post-Training 阶段的<Prompt，人写答案><Prompt，模型生成答案>，都是部分人工数据、部分模型生成数据，所以称其为'半合成数据'感觉更为恰当。
• 如果深入思考一下，你会发现合成数据其实是模型蒸馏的一种变体，算是一种特殊的模型蒸馏。（LLM 预训练预测 Next Token，其实是人类作为 Teacher，LLM 作为 student。所以 LLM 本身就是对人类知识的蒸馏。合成数据是更大的模型输出数据作为 Teacher，小点的模型作为 Student 从中学习知识，所以其实本质上是一种模型蒸馏。）

驱动大模型效果提升的三要素

其实从 ChatGPT 火了以后看各种大模型的技术报告，包括 LLama 系列模型在内，可以看出大模型之所以能力仍在快速提升，主要驱动力有三个：首先就是不断扩大模型和数据规模（Scaling Law）。除此外，在数据方面有两个发展趋势：一个是越来越强调数据质量的作用，各种数据筛选方法和工具越来越多，保证质量是第一位的（这个早在 Google T5 时代就能推出这个结论，目前只是进一步验证并延续这个思路而已）。第二个是不断增加数学、逻辑、代码这种能够提升大模型理性能力的数据配比比例，包括在预训练阶段（增加预训练数据此类数据比例，且在预训练后面阶段来上采样此类数据，就是说同样数据多执行几遍，以增加其对模型参数影响的权重）和 Post-Training 阶段（增加此类数据占比，Llama3.1 的经过 instruct 的模型比仅做预训练模型相比，各种尺寸的效果提升都很大）皆是如此。

目前看，在通用数据快被用完情况下，第三个因素会成为之后大模型进步的主导力量，包括使用数学、逻辑、代码合成数据在 Post-Training 阶段的应用，目前技术也越来越成熟，其质量和数量会是决定未来大模型效果差异的最关键因素。

总结

Llama3.1 的发布不仅标志着开源大模型能力的重大突破，也为行业提供了宝贵的技术参考。通过优化数据结构、改进训练策略以及利用合成数据，开发者可以在有限的资源下构建高性能模型。未来，随着蒸馏技术和合成数据方法的进一步成熟，小模型与大模型之间的性能鸿沟有望进一步缩小，这将极大地降低 AI 应用的门槛，推动更多创新场景的落地。对于企业和开发者而言，紧跟开源生态，合理利用最佳实践，将是应对技术变革的关键。