Meta 发布 Llama 3 系列模型：性能飞跃与开放策略
Meta 发布了开放式生成人工智能模型 Llama 系列的最新产品：Llama 3。更准确地说，该公司首次发布了其新的 Llama 3 系列中的两个模型，其余模型将在未来某个不确定的日期发布。
性能表现与基准测试
Meta 称，与上一代 Llama 型号 Llama 2 8B 和 Llama 2 70B 相比，这两款新型号——Llama 3 8B（包含 80 亿个参数）和 Llama 3 70B（包含 700 亿个参数）——在性能上有了'重大飞跃'。参数从本质上定义了人工智能模型处理问题的能力，比如分析和生成文本；一般来说，参数数越高的模型比参数数越低的模型能力越强。
事实上，Meta 表示，就各自的参数数而言，在两个定制的 24,000 GPU 集群上训练的 Llama 3 8B 和 Llama 3 70B 是当今性能最好的生成式人工智能模型之一。这是一个相当了不起的成就。那么 Meta 是如何支持它的呢？该公司指出，Llama 3 模型在 MMLU（用于测量知识）、ARC（用于测量技能习得）和 DROP（用于测试模型对文本块的推理能力）等流行的人工智能基准测试中的得分。
小参数模型优势
在至少九项基准测试中，Llama 3 8B 均优于其他开放模型，如 Mistral 的 Mistral 7B 和 Google 的 Gemma 7B，这两个模型均包含 70 亿个参数：MMLU、ARC、DROP、GPQA（一组生物、物理和化学相关问题）、HumanEval（代码生成测试）、GSM-8K（数学单词问题）、MATH（另一个数学基准）、AGIEval（解决问题测试集）和 BIG-Bench Hard（常识推理评估）。
现在，Mistral 7B 和 Gemma 7B 并不完全处于领先地位（Mistral 7B 于去年 9 月发布），在 Meta 引用的几个基准测试中，Llama 3 8B 的得分仅比这两个基准测试高几个百分点。但 Meta 还声称，参数数更多的 Llama 3 模型 Llama 3 70B 与旗舰生成式人工智能模型（包括谷歌 Gemini 系列的最新产品 Gemini 1.5 Pro）相比具有竞争力。
Llama 3 70B 在 MMLU、HumanEval 和 GSM-8K 三项基准测试中均优于 Gemini 1.5 Pro，而且，虽然它无法与 Anthropic 性能最强的模型 Claude 3 Opus 相媲美，但在五项基准测试（MMLU、GPQA、HumanEval、GSM-8K 和 MATH）中，Llama 3 70B 的成绩优于 Claude 3 系列中第二弱的模型 Claude 3 Sonnet。
值得一提的是，Meta 还开发了自己的测试集，涵盖了从编码、创意写作、推理到总结等各种用例！Llama 3 70B 在与 Mistral 的 Mistral Medium 模型、OpenAI 的 GPT-3.5 和 Claude Sonnet 的竞争中脱颖而出。Meta 表示，为了保持客观性，它禁止其建模团队访问这组数据，但很明显，鉴于 Meta 自己设计了这项测试，我们必须对结果持谨慎态度。
训练数据与质量提升
在质量方面，Meta 表示，新款 Llama 模型的用户可以期待更高的'可操控性'、更低的拒绝回答问题的可能性，以及更高的琐事问题、与历史和 STEM 领域（如工程和科学）相关的问题和一般编码建议的准确性。这在一定程度上要归功于一个更大的数据集：一个包含 15 万亿个标记的数据集，或者说一个令人难以置信的 ~750,000,000,000 单词的数据集，是 Llama 2 训练集的七倍。(在人工智能领域，'词块'指的是细分的原始数据，比如'奇妙'一词中的音节'fan'、'tas'和'tic')。
这些数据从何而来？问得好。Meta 公司不愿透露，只表示数据来自'公开来源'，包含的代码数量是 Llama 2 训练数据集的四倍，其中 5% 的数据集包含非英语数据（约 30 种语言），以提高非英语语言的性能。Meta 还表示，它使用了合成数据（即人工智能生成的数据）来创建较长的文档供 Llama 3 模型训练，由于这种方法存在潜在的性能缺陷，因此颇受争议。
