近日，伊隆·马斯克领导的xAI公司宣布其开发的AI聊天机器人Grok正式开源，这标志着AI领域的一个重大转折点。

image-20240318223043769

马斯克是OpenAI的联合创始人之一，该公司致力于推动友好AI的研究，并开发了如GPT系列的先进语言模型。此外，马斯克领导的特斯拉也在AI领域做出了显著贡献，尤其是在自动驾驶技术方面。他的神经科技公司Neuralink旨在开发能够增强人类大脑能力的先进接口。最近，他通过xAI公司发布的Grok，表明了他对于AI领域开放源代码和透明度的承诺。马斯克的这些努力共同推动了AI技术的发展，特别是在自然语言处理、机器学习和人工智能伦理方面。

Grok-1是一款基于混合专家系统（Mixture-of-Experts，MoE）技术构建的大语言模型，拥有3140亿参数，远超OpenAI GPT-3.5的1750亿。这是迄今参数量最大的开源大语言模型，遵照Apache 2.0协议开放模型权重和架构。有些读者可能不知道这意味着什么，Apache 2.0开源协议是设计用来允许商业使用的。 该协议明确授予了使用者在遵守许可条款的情况下，对软件进行复制、修改、分发以及商业使用的权利。

image-20240318215649918

截至目前，项目已经获得了21.3k的start，热度持续增长。

开源地址：https://github.com/xai-org/grok-1

xAI表示，Grok-1是始终由xAI自行训练的 3140 亿参数的混合专家模型，其中 25%的权重来处理给定的标记，其预训练阶段于2023年10月完成。此次发布的是Grok-1预训练阶段结束时的原始基础模型检查点，即该模型未经过针对任何具体应用的微调。

xAI的目的之一就是与OpenAI、谷歌、微软等对手在大模型领域进行竞争，其团队来自OpenAI、谷歌DeepMind、谷歌研究院、微软研究院等诸多知名企业和研究机构。

Andrew Kean Gao 总结了 Grok-1 的模型情况如下：

image-20240318222829729

此外，他还将 Grok-1 与其他开源模型参数量进行了对比，Grok-1 是 Llama-65B 的 4 倍多。

image-20240318222848236

Grok的开源，为开发者、研究人员提供了一个新的工具，使他们能够更深入地探索、改进并创新基于AI的应用程序。这一举措也反映出马斯克对于开源文化的支持，他此前在特斯拉等其他公司项目中也展现过类似的态度。

相比之下，OpenAI 提供了 ChatGPT 的一个版本及其背后的语言模型供免费使用，但其源代码却是闭源的。

image-20240318223216879

作为一个与OpenAI的ChatGPT竞争的产品，Grok的开源策略可能会给AI领域带来更广泛的影响。对于期待在AI领域看到更多开源项目的技术爱好者和专家来说，这是一个激动人心的时刻。Grok的开源不仅可能加速AI技术的发展，也可能在AI伦理和透明度方面引发新的讨论。

此举不仅增加了AI开发的透明度，还可能推动AI技术在不同领域的广泛应用，从而创造出更多创新的解决方案。同时，这也可能激发对AI安全性和隐私问题的进一步探讨，促进整个行业朝着更加负责任和可持续的方向发展。

总之，Grok的开源是AI领域的一个重大里程碑，预示着未来可能会有更多类似的AI技术向公众开放。这将为全球技术界带来新的机遇，同时也对AI的发展方向和应用提出了新的挑战。