Meta 发布了开放式生成人工智能模型 Llama 系列的最新产品：Llama 3。准确地说，该公司首次发布了其新的 Llama 3 系列中的两个模型，其余模型将在未来某个不确定的日期发布。
模型规格与架构升级
Meta 称，与上一代 Llama 型号 Llama 2 8B 和 Llama 2 70B 相比，这两款新型号–Llama 3 8B（包含 80 亿个参数）和 Llama 3 70B（包含 700 亿个参数）–在性能上有了'重大飞跃'。参数从本质上定义了人工智能模型处理问题的能力，比如分析和生成文本；一般来说，参数数越高的模型比参数数越低的模型能力越强。
事实上，Meta 表示，就各自的参数数而言，在两个定制的 24,000 GPU 集群上训练的 Llama 3 8B 和 Llama 3 70B 是当今性能最好的生成式人工智能模型之一。这是一个相当了不起的成就。那么 Meta 是如何支持它的呢？
关键技术改进
- 上下文窗口：Llama 3 将上下文窗口从 Llama 2 的 4k 扩展到了 8k，部分版本甚至支持更长的上下文，这显著提升了模型处理长文档和复杂任务的能力。
- 分词器优化：采用了基于 BPE 的新版分词器，词汇表大小增加至 128k，这使得模型在处理多语言和非英语内容时更加高效，减少了 token 数量，从而降低了推理成本。
- 注意力机制：引入了分组查询注意力（Grouped Query Attention, GQA），在保持性能的同时提高了推理速度并减少了内存占用。
- 激活函数：继续使用 SwiGLU 激活函数，进一步优化了模型的表达能力和训练稳定性。
基准测试表现分析
Meta 指出，Llama 3 模型在 MMLU（用于测量知识）、ARC（用于测量技能习得）和 DROP（用于测试模型对文本块的推理能力）等流行的人工智能基准测试中的得分。正如我们之前所写，这些基准的实用性和有效性还有待商榷。但无论好坏，它们仍然是 Meta 等人工智能玩家评估其模型的少数标准化方法之一。
在至少九项基准测试中，Llama 3 8B 均优于其他开放模型，如 Mistral 的 Mistral 7B 和 Google 的 Gemma 7B，这两个模型均包含 70 亿个参数：MMLU、ARC、DROP、GPQA（一组生物、物理和化学相关问题）、HumanEval（代码生成测试）、GSM-8K（数学单词问题）、MATH（另一个数学基准）、AGIEval（解决问题测试集）和 BIG-Bench Hard（常识推理评估）。现在，Mistral 7B 和 Gemma 7B 并不完全处于领先地位（Mistral 7B 于去年 9 月发布），在 Meta 引用的几个基准测试中，Llama 3 8B 的得分仅比这两个基准测试高几个百分点。但 Meta 还声称，参数数更多的 Llama 3 模型 Llama 3 70B 与旗舰生成式人工智能模型（包括谷歌 Gemini 系列的最新产品 Gemini 1.5 Pro）相比具有竞争力。
Llama 3 70B 在 MMLU、HumanEval 和 GSM-8K 三项基准测试中均优于 Gemini 1.5 Pro，而且，虽然它无法与 Anthropic 性能最强的模型 Claude 3 Opus 相媲美，但在五项基准测试（MMLU、GPQA、HumanEval、GSM-8K 和 MATH）中，Llama 3 70B 的成绩优于 Claude 3 系列中第二弱的模型 Claude 3 Sonnet。
值得一提的是，Meta 还开发了自己的测试集，涵盖了从编码、创意写作、推理到总结等各种用例！Llama 3 70B 在与 Mistral 的 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出。Meta 表示，为了保持客观性，它禁止其建模团队访问这组数据，但很明显，鉴于 Meta 自己设计了这项测试，我们必须对结果持谨慎态度。
训练数据与合成数据争议
在质量方面，Meta 表示，新款 Llama 模型的用户可以期待更高的'可操控性'、更低的拒绝回答问题的可能性，以及更高的琐事问题、与历史和 STEM 领域（如工程和科学）相关的问题和一般编码建议的准确性。这在一定程度上要归功于一个更大的数据集：一个包含 15 万亿个标记的数据集，或者说一个令人难以置信的 ~750,000,000,000 单词的数据集，是 Llama 2 训练集的七倍。(在人工智能领域，'词块'指的是细分的原始数据，比如'奇妙'一词中的音节'fan'、'tas'和'tic')。
这些数据从何而来？问得好。Meta 公司不愿透露，只表示数据来自'公开来源'，包含的代码数量是 Llama 2 训练数据集的四倍，其中 5% 的数据集包含非英语数据（约 30 种语言），以提高非英语语言的性能。Meta 还表示，它使用了合成数据（即人工智能生成的数据）来创建较长的文档供 Llama 3 模型训练，由于这种方法存在潜在的性能缺陷，因此颇受争议。
