本文来自 企业网D1net公众号
马斯克的初创公司xAI信守诺言，将其首个大型语言模型Grok开源。
马斯克此前曾宣布，开源Grok的举措将于本周实施。现在，任何其他企业家、程序员、公司或个人都可以体验和测试Grok——模型的人工神经元或软件模块之间的连接强度，这些模块使模型能够做出决策、接受输入并以文本形式提供输出——以及其他相关文档，并将模型的副本用于任何他们想要的东西，包括商业应用。
该公司在一篇博客文章中宣布：“我们正在发布我们的大型语言模型Grok-1的基本模型和网络架构，Grok-1是xAI从头开始训练的3140亿参数混合专家模型。”
感兴趣的人可以在Github的页面上或通过链接下载Grok的代码。
Grok的开源意味着什么
参数是指支配模型的权重和偏差——通常参数越多，模型就越先进、越复杂、越好用。Grok拥有3140亿个参数，远远领先于开源竞争对手，如Meta的Llama 2(700亿个参数)和Mistral 8x7B(120亿个参数)。
Grok是在Apache许可2.0下开源的，该许可允许商业使用、修改和分发，尽管它不能被注册为商标，用户也不会获得任何责任或保证，此外，他们必须复制原始许可证和版权声明，并说明他们所做的更改。
Grok的体系结构于2023年10月使用JAX和Rust上的定制训练堆栈开发，结合了神经网络设计的创新方法，对于给定的令牌，该模型使用25%的权重，这一策略提高了其效率和效果。
Grok最初是在2023年11月发布的，当时它是一款专有或封闭源代码的机型，到目前为止，它只能在马斯克独立但相关的社交网络X(前身为Twitter)上使用，特别是通过X Premium+付费订阅服务，费用为每月16美元或每年168美元。
然而，Grok的发布并不包括其训练数据的完整语料库，这对于使用模型并不重要，因为它已经经过了训练，但它不允许用户看到它从X上学到了什么——大概是X上的用户文本帖子(xAI博客文章含糊地说它是“基于大量文本数据训练的基础模型，没有针对任何特定任务进行微调”)。
它也不包括任何与X上可用的实时信息的挂钩，马斯克最初将其吹捧为Grok相对于其他LLM的主要属性，为此，用户仍需要在X上订阅付费版本。
不仅仅是一项技术举措 还是一项商业和公关战略
为了与OpenAI的ChatGPT竞争，马斯克于2018年脱离OpenAI并创建了自己的大模型Grok。马斯克将Grok定位为ChatGPT和其他领先的大语言模型的更幽默、更未经审查的版本，鉴于人们对人工智能审查的抱怨，以及谷歌Gemini令人尴尬的混乱图像和可疑的意识形态立场(Gemini在至少一个例子中暗示，马斯克的推文对社会的影响可能与纳粹领导人Adolf Hitler一样糟糕)，这一立场在更广泛的用户中重新变得有吸引力。当然，Gemini受到了马斯克和其他有影响力的科技领袖的强烈批评，其中包括16z的联合创始人和网络先驱马克·安德森。
Grok的开源显然也是马斯克在诉讼和对OpenAI的普遍批评中有益的意识形态立场，他最近起诉了OpenAI，指责他的前公司放弃了《创始协议》，转而以非营利性组织的形式运营。OpenAI在舆论法庭上发布了为自己辩护的电子邮件，至少表明马斯克知道并可能支持其转向专有的营利性技术。
X上的人工智能社区已经对这一发布充满了好奇和兴奋，值得注意的是，技术界指出了该模型在前馈层中使用GeGLU，以及它的归一化方法，就连OpenAI的员工也发帖表达了他们对该模型的兴趣。
因此，Grok的发布可能会给所有其他大语言模型提供商，特别是其他竞争对手开源提供商带来压力，让他们向用户证明他们是多么的优越。
