LLaMA3：开源战胜闭源意味着什么

Post-Training 过程

在 Post-Training 过程中，首先用人工标注数据训练 RM（Reward Model）模型，用来评价一个<Prompt, answer>数据的质量，然后用 RM 参与拒绝采样（Rejection Sampling）。

就是说对于一个人工 Prompt，用模型生成若干个回答，RM 给予质量打分，选择得分最高的保留作为 SFT（Supervised Fine-Tuning）数据，其它抛掉。这样得到的 SFT 数据再加上专门增强代码、数学、逻辑能力的 SFT 数据一起，用来调整模型得到 SFT 模型。

训练方法最终采用了 DPO（Direct Preference Optimization），并没有直接采用 PPO 的训练方式，官方的解释是 Managing complexity（管理复杂性）。

之后用人工标注数据来使用 DPO 模型调整 LLM 参数，DPO 本质上是个二分类，就是从人工标注的<Prompt，Good Answer，Bad Answer>三元数据里学习，调整模型参数鼓励模型输出 Good Answer，不输出 Bad Answer，这算完成了一个迭代轮次的 Post-Training。

上述过程会反复迭代几次，每次的流程相同，不同的地方在于拒绝采样阶段用来对给定 Prompt 产生回答的 LLM 模型，会从上一轮流程最后产生的若干不同 DPO 模型（不同超参等）里选择最好的那个在下一轮拒绝采样阶段给 Prompt 生成答案。很明显，随着迭代的增加 DPO 模型越来越好，所以拒绝采样里能选出的最佳答案质量越来越高，SFT 模型就越好，如此形成正反馈循环。

可以看出尽管 RLHF 和 DPO 两种模式都包含 RM，但是用的地方不一样：RLHF 是把 RM 打分用在 PPO 强化学习阶段，而 LLaMA 3 则用 RM 来筛选高质量 SFT 数据。

LLaMA3 带来的影响

下图展示了开源和闭源模型随着时间能力差异曲线，可以看出两者差距随着时间是逐步减小的，而 LLaMA 3-405B 让两线出现了交点。

LLaMA 3-405B 的开源，对于其它无论闭源还是开源模型，都有重大影响：

• 对于闭源模型：如果其能力还赶不上 LLaMA3（比如 GPT 或 GLM），那很多付费用户为什么不去使用开源模型呢？这将迫使闭源厂商提升性价比或开放更多 API 权限。
• 对于开源模型：如果能力不如 LLaMA 3，就需要考虑如何作出差异化和不同特色的模型，例如针对特定垂直领域进行微调。

行业生态展望

我认为最后大模型的结果可能会趋向于头部集中，因为它最重要的能力就是知识的全面性与对话推理能力。而如果做某一领域的模型，只要有那方面的数据，用以前的技术手段也能达到相同的效果。以目前情况来看，大模型的应用以调用为主，根据这个'大脑'开发配套的 Agent 即可，那我肯定会选一个最强的大脑进行开发。

但是一家独大的发展可能并不利于以后这项技术以后的发展。开源模型的崛起意味着：

1. 安全性提升：社区可以审查模型权重，发现潜在的安全漏洞或偏见。
2. 创新加速：开发者可以在开源基础上快速构建应用，无需等待官方 API 更新。
3. 成本降低：私有化部署成为可能，企业不再完全依赖昂贵的云端服务。

因此，LLaMA3 的出现不仅是技术的胜利，更是开源精神在 AI 时代的延续。它打破了巨头对先进 AI 能力的垄断，推动了整个行业的透明化和民主化进程。未来，我们可能会看到更多基于开源基座模型的定制化解决方案涌现，形成百花齐放的生态格局。

总结

LLaMA3 在架构优化、训练策略以及对齐方法上的改进，使其性能达到了前所未有的高度。开源与闭源界限的模糊，标志着 AI 发展进入新阶段。对于开发者而言，掌握开源模型的能力将成为核心竞争力，同时也需关注模型安全与伦理问题，共同推动 AI 技术的健康发展。