全球最大开源大模型!马斯克正式开源Grok AI

简介: 全球最大开源大模型!马斯克正式开源Grok AI

本文来自 企业网D1net公众号

马斯克的初创公司xAI信守诺言,将其首个大型语言模型Grok开源。


马斯克此前曾宣布,开源Grok的举措将于本周实施。现在,任何其他企业家、程序员、公司或个人都可以体验和测试Grok——模型的人工神经元或软件模块之间的连接强度,这些模块使模型能够做出决策、接受输入并以文本形式提供输出——以及其他相关文档,并将模型的副本用于任何他们想要的东西,包括商业应用。

该公司在一篇博客文章中宣布:“我们正在发布我们的大型语言模型Grok-1的基本模型和网络架构,Grok-1是xAI从头开始训练的3140亿参数混合专家模型。”

感兴趣的人可以在Github的页面上或通过链接下载Grok的代码。



Grok的开源意味着什么


参数是指支配模型的权重和偏差——通常参数越多,模型就越先进、越复杂、越好用。Grok拥有3140亿个参数,远远领先于开源竞争对手,如Meta的Llama 2(700亿个参数)和Mistral 8x7B(120亿个参数)。

Grok是在Apache许可2.0下开源的,该许可允许商业使用、修改和分发,尽管它不能被注册为商标,用户也不会获得任何责任或保证,此外,他们必须复制原始许可证和版权声明,并说明他们所做的更改。

Grok的体系结构于2023年10月使用JAX和Rust上的定制训练堆栈开发,结合了神经网络设计的创新方法,对于给定的令牌,该模型使用25%的权重,这一策略提高了其效率和效果。

Grok最初是在2023年11月发布的,当时它是一款专有或封闭源代码的机型,到目前为止,它只能在马斯克独立但相关的社交网络X(前身为Twitter)上使用,特别是通过X Premium+付费订阅服务,费用为每月16美元或每年168美元。

然而,Grok的发布并不包括其训练数据的完整语料库,这对于使用模型并不重要,因为它已经经过了训练,但它不允许用户看到它从X上学到了什么——大概是X上的用户文本帖子(xAI博客文章含糊地说它是“基于大量文本数据训练的基础模型,没有针对任何特定任务进行微调”)。

它也不包括任何与X上可用的实时信息的挂钩,马斯克最初将其吹捧为Grok相对于其他LLM的主要属性,为此,用户仍需要在X上订阅付费版本。



不仅仅是一项技术举措 还是一项商业和公关战略


为了与OpenAI的ChatGPT竞争,马斯克于2018年脱离OpenAI并创建了自己的大模型Grok。马斯克将Grok定位为ChatGPT和其他领先的大语言模型的更幽默、更未经审查的版本,鉴于人们对人工智能审查的抱怨,以及谷歌Gemini令人尴尬的混乱图像和可疑的意识形态立场(Gemini在至少一个例子中暗示,马斯克的推文对社会的影响可能与纳粹领导人Adolf Hitler一样糟糕),这一立场在更广泛的用户中重新变得有吸引力。当然,Gemini受到了马斯克和其他有影响力的科技领袖的强烈批评,其中包括16z的联合创始人和网络先驱马克·安德森

Grok的开源显然也是马斯克在诉讼和对OpenAI的普遍批评中有益的意识形态立场,他最近起诉了OpenAI,指责他的前公司放弃了《创始协议》,转而以非营利性组织的形式运营。OpenAI在舆论法庭上发布了为自己辩护的电子邮件,至少表明马斯克知道并可能支持其转向专有的营利性技术。

X上的人工智能社区已经对这一发布充满了好奇和兴奋,值得注意的是,技术界指出了该模型在前馈层中使用GeGLU,以及它的归一化方法,就连OpenAI的员工也发帖表达了他们对该模型的兴趣。

因此,Grok的发布可能会给所有其他大语言模型提供商,特别是其他竞争对手开源提供商带来压力,让他们向用户证明他们是多么的优越。



相关文章
|
7天前
|
人工智能 搜索推荐 Ubuntu
[AI Perplexica] 安装指南:轻松部署AI驱动的开源搜索引擎
详细讲解如何在本地环境中使用Docker部署AI驱动的开源搜索引擎Perplexica,让您快速上手体验其强大功能。
[AI Perplexica] 安装指南:轻松部署AI驱动的开源搜索引擎
|
4天前
|
人工智能 移动开发 Java
Java智能之Spring AI:5分钟打造智能聊天模型的利器
尽管Python最近成为了编程语言的首选,但是Java在人工智能领域的地位同样不可撼动,得益于强大的Spring框架。随着人工智能技术的快速发展,我们正处于一个创新不断涌现的时代。从智能语音助手到复杂的自然语言处理系统,人工智能已经成为了现代生活和工作中不可或缺的一部分。在这样的背景下,Spring AI 项目迎来了发展的机遇。尽管该项目汲取了Python项目如LangChain和LlamaIndex的灵感,但Spring AI并不是简单的移植。该项目的初衷在于推进生成式人工智能应用程序的发展,使其不再局限于Python开发者。
21 2
|
6天前
|
人工智能 数据安全/隐私保护 计算机视觉
旷视开源的AI人像视频生成太炸了!输入照片即可模仿任意表情包
【7月更文挑战第6天】旷视科技开源AI模型MegActor,以照片生成逼真人像视频,模仿表情包。基于条件扩散模型,解决身份泄露和背景干扰问题,使用合成数据、图像分割、CLIP编码及风格迁移技术。虽有视频质量、隐私风险及计算资源限制,但对动画和虚拟偶像行业带来革新。[链接](https://arxiv.org/abs/2405.20851)
20 3
EMQ
|
8天前
|
传感器 人工智能 安全
EMQX 与 MQTT: AI 大模型时代的分布式数据中枢
在以数据为核心的 AI 时代,基于 MQTT 协议的消息服务器 EMQX 能帮助企业更好的利用人工智能和机器学习模型,是智能化系统中核心的数据基础软件。
EMQ
124 0
|
8天前
|
存储 人工智能 缓存
[AI Kimi] Context Caching 正式公测,推动长文本模型降本 90%
Kimi 的上下文缓存(Context Caching)技术正式公测。该技术通过预先存储数据,显著降低了计算成本和延迟,适用于长文本模型,帮助节省高达 90% 的费用,并将首 Token 延迟降低 83%。
|
4天前
|
机器学习/深度学习 人工智能 大数据
AI大模型企业应用实战(24)-什么是zero-shot, one-shot和few-shot Learning?
零样本学习(Zero-Shot Learning)是机器学习中的一种方法,模型在未见过的类别上进行分类,依赖于类别描述来建立训练与测试集间的联系。例如,通过已知的马、老虎和熊猫特征推断斑马。单样本学习(One-Shot Learning)则是在极少量样本(如一个)的情况下进行学习,目标是减少训练数据需求,适用于新类别出现时无需重新训练的情况。小样本学习(Few-Shot Learning)是处理仅有少量类内样本的学习任务。这三者常用于图像分类、语义分割等场景,One-Shot是Few-Shot的特殊情况。
|
5天前
|
人工智能 自然语言处理 自动驾驶
AI大模型的战场:通用与垂直的较量
AI大模型的战场:通用与垂直的较量
16 0
|
8天前
|
人工智能 Java
AI大模型----SpringBoot添加放行最简单的方式@AuthAccess,问题库构思,概念title,答案text,搜索search
AI大模型----SpringBoot添加放行最简单的方式@AuthAccess,问题库构思,概念title,答案text,搜索search
|
8天前
|
人工智能
AI软件开发大模型,最简单的相关构思,有提问的输入框,有返回答案的答案框
AI软件开发大模型,最简单的相关构思,有提问的输入框,有返回答案的答案框
|
5天前
|
机器学习/深度学习 人工智能 自动驾驶
「AIGC」Agent AI智能体的未来:技术、伦理与经济的交汇点
Agent AI智能体融合机器学习与深度学习,推动社会效率与创新,但也引发伦理、法律及就业挑战。技术上,它们能自我优化、积累知识,如自动驾驶汽车通过学习改善驾驶。伦理上,需建立AI准则,确保透明度和责任归属,如医疗AI遵循道德原则。经济上,AI改变就业市场结构,创造新职业,如AI顾问,同时要求教育体系更新。未来,平衡技术进步与社会影响至关重要。
23 0