马斯克xAI开源Grok-1：3140亿参数模型架构详解
说到做到，马斯克xAI的Grok，果然如期开源了。
就在刚刚，马斯克的AI创企xAI正式发布了此前备受期待大模型Grok-1，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿。
这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。
Grok-1 基础信息
目前，xAI关于Grok-1没有透露更多信息。官网放出的信息如下——
- 基础模型在大量文本数据上训练，未针对任何特定任务进行微调。
- 314B参数的MoE（混合专家），有25%的权重在给定token上处于激活状态。
- 2023年10月，xAI使用JAX和Rust之上的自定义训练堆栈从头开始训练。
- 截至到目前为止，Grok在Github上就狂揽了6k星，620个Fork。
3140亿的参数，让Grok-1成为迄今参数量最大的开源LLM，是Llama 2的4倍。
全球首个最大模型开源细节
这次xAI开源Grok-1，遵守的是Apache-2.0许可证，因此，用户可以自由使用、修改和分发软件。
存储库包含了用于加载和运行Grok-1开源权重模型的JAX示例代码。
由于模型较大，参数达到了314B参数，因此需要具有足够GPU内存的计算机，才能使用示例代码测试模型。一般人估计是很难在个人PC上运行起来。
斯坦福研究者Andrew Kean Gao浏览了model.py介绍了更多Grok的架构信息，3140亿参数没有更多附加条款。
核心架构参数
8个混合专家（2个活跃专家），860B活跃参数。它使用旋转嵌入，而不是固定位置嵌入。
- tokenizer词汇量：131,072（于GPT-4类似）相当于2^17
- 嵌入大小：6144（48*128）
- Transformer层：64（每一层都有一个解码层：多头注意块和密度块）
- 键值大小：128
这些参数配置显示了xAI在模型设计上的野心。MoE架构允许模型在保持总参数量巨大的同时，通过稀疏激活降低推理成本。旋转嵌入（Rotary Embeddings）相比固定位置编码，能更好地处理长序列上下文。
开源争霸与社区反响
AI社区已经沸腾了！连OpenAI的员工，都表示了自己对Grok的强烈兴趣。
英伟达高级科学家Jim Fan表示，「有史以来最大的开源大模型，由世界级团队训练，通过磁力链Apache 2.0发布。
xAI表示，Grok的设计灵感来源于《银河系漫游指南》，它能够回答几乎所有问题，助力人类不分背景或政治立场地追求理解和知识。
Grok最初的版本Grok-0拥有330亿参数，紧接着xAI推出了经过数次改进的Grok-1，为X上的Grok聊天机器人提供支持。
根据xAI公布的数据，在GSM8K、HumanEval和MMLU等一系列基准测试中，Grok-1的表现超过了Llama-2-70B和GPT-3.5，虽然跟GPT-4还差得远。
但此次xAI并没有放出Grok-1的具体测试成绩，其与OpenAI即将发布的GPT-5的大模型王者之战，必将成为业内关注的焦点。
技术意义总结
科技巨头之间AI之间的大规模竞争，争相发布各种最厉害最前沿的大语言模型，然后最终受益的却还是我们普通个人。就像前几年的手机竞争，厂商们都在制作各种旗舰机型，所以后面就有了越来越大的手机，屏幕越来越高清，摄像头的像素越来越大，手机摄像头也越来越多。
除了了解这些最前沿的科技之外，我们还可以思考如何更好地将这些技术应用在我们日常的工作和生活之中。Grok-1的开源意味着开发者可以基于此构建垂直领域的应用，无需依赖闭源API，这对于促进AI生态的多样性和安全性具有重要意义。
Apache 2.0协议的采用更是关键，它允许商业使用而无需担心像某些CC协议那样的限制，这可能会加速企业级AI应用的落地速度。随着硬件算力的提升，未来在本地部署此类大模型将不再是遥不可及的梦想。
