马斯克旗下公司宣布开源 Grok-1 模型,参数量达3140亿

简介: 最近,Meta基础人工智能研究(FAIR)团队发布了名为Branch-Train-MiX (BTX)的方法,可从种子模型开始,该模型经过分支,以高吞吐量和低通信成本的并行方式训练专家模型。Meta FAIR的成员之一Jason Weston在其X上发文介绍了这一进展。

北京时间3月18日凌晨,马斯克旗下的人工智能初创公司xAI正式宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。xAI官网显示,xAI已经将Grok-1的权重和架构在软件托管平台GitHub上开源。

官网介绍,Grok-1是3140亿参数的混合专家模型,这也让Grok-1成为迄今参数量最大的开源大语言模型,是Llama 2的4倍。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿,Grok-1大幅领先。

2023 年 11 月,马斯克旗下的人工智能公司 xAI 发布了首款 AI 聊天产品,取名为 “Grok”。Grok 的名字来自罗伯特・安森・海因莱因的科幻小说《异乡异客》,意思是完全理解某事或某人。Grok 具备以下特点:

  • 「全面的知识」:Grok 在大量文本和代码数据集上进行了训练,使其能够从中汲取广泛的知识。
  • 「实时访问信息」:Grok 可以通过 X 平台获取实时信息,这是相对于其他大语言模型的一大优势。
  • 「幽默」:Grok 被设计成带有幽默感,可以回答一些尖锐的问题,这使得它与用户的互动更具吸引力。
  • 「理解复杂概念的能力」:Grok 能够理解复杂的概念并以清晰简洁的方式解释它们。
  • 「生成创意内容的能力」:Grok 可以生成不同类型的创意内容,例如诗歌、代码、图像和音乐作品。

马斯克表示,xAI将在GitHub上开源它的人工智能聊天机器人Grok,这将允许研究人员和开发人员在该模型的基础上对它进行开发,并能进一步影响Grok的下一步更新。

相关链接

参考

开源中国:https://www.oschina.net/news/283513/grok-open-source


好啦!小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽,请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~

相关文章
|
8月前
|
弹性计算 安全 数据安全/隐私保护
|
8月前
|
安全 Linux KVM
倚天产品介绍|倚天虚拟化:CPU虚拟化原理介绍
虚拟化技术中最关键的技术之一就是CPU虚拟化。在没有硬件辅助虚拟化技术出来之前,通常都是通过TCG(软件进行指令翻译)的方式实现CPU虚拟化。但是由于TCG方式的虚拟化层开销太大,性能太差,因此引入了硬件辅助虚拟化技术。
|
8月前
|
机器学习/深度学习 人工智能 Rust
Grok-1:史上最大开源LLM的技术解析
Grok-1:史上最大开源LLM的技术解析
1474 1
|
8月前
|
人工智能 弹性计算 安全
AMD产品介绍|通用型实例g8a
g8a实例:高性价比X86服务器,搭载最新CIPU架构,提供100G*2网络带宽和eRDMA支持。基于AMD Genoa平台,主频2.7/3.7GHz,专为性能、成本和稳定性需求设计。适用于通用应用、AI推理训练、高清视频处理等场景。实例性能提升25%,性价比提升15%,内置安全芯片,支持可信计算和机密计算。
|
8月前
|
人工智能 自动驾驶 安全
破壁人AI百度:科技公司反内卷的典型样本
互联网整个行业都在陷入被动且尴尬的局面。去年开始流行的“内卷”一词,恰如其分的描述了互联网的现状,比如抖音开始做外卖,微信强推视频号,一直硝烟弥漫的电商市场,更是激战在社区团购上。内卷背后也有人感慨,互联网到了尽头。支撑这一论述的是,移动互联网的人口红利已经消失,几款国民型APP用户增长都固定在了10亿这个级别,只能依靠自然人口的增长和迁移。
52 0
|
安全 IDE KVM
[ 云计算相关 ] KVM虚拟化平台windows虚拟机迁移到openstack虚拟化平台(KVM虚拟化环境中Windows虚拟机安装Virtio驱动程序)
KVM虚拟化平台windows虚拟机迁移到openstack虚拟化平台(KVM虚拟化环境中Windows虚拟机安装Virtio驱动程序) 因为这也不是我的本职工作,只是这次恰巧碰到了,帮着解决了以下,我就没深究原理了,问我原理可能我也不知道,只是这个操作步骤吧,亲测有效。
591 0
[ 云计算相关 ] KVM虚拟化平台windows虚拟机迁移到openstack虚拟化平台(KVM虚拟化环境中Windows虚拟机安装Virtio驱动程序)
|
关系型数据库 MySQL 弹性计算
部署LAMP环境(Alibaba Cloud Linux 3)
本教程提供在阿里云云服务器ECS上基于Alibaba Cloud Linux 3操作系统搭建LAMP环境的指引。LAMP是应用广泛的网站服务系统,由四种免费的开源软件Linux、Apache、MySQL和PHP组成。搭建好LAMP环境后,您可以在该ECS实例上搭建网站、访问网站、搭建开发环境等。
113158 69
部署LAMP环境(Alibaba Cloud Linux 3)
|
8月前
|
Java Linux Docker
倚天使用|YODA倚天应用迁移神器,让跨架构应用迁移变得简单高效
YODA(Yitian Optimal Development Assistant,倚天应用迁移工具)旨在帮助用户更加高效、便捷地实现跨平台、跨结构下的应用迁移,大幅度缩短客户在新平台上端到端性能验证所需的人力和时间,使得客户更加专注于应用本身算法的优化,协同客户实现降本增效。
124829 92
|
8月前
|
弹性计算 关系型数据库 MySQL
阿里云服务器经济型e实例2核2G3M带宽99元搭建网站图文教程参考
经济型e实例2核2G,3M固定带宽,40G ESSD Entry云盘,价格只要99元,这是阿里云精心为开发者和普通企业用户推出的一款上云首选必备产品,可用于中小型的web应用以及企业应用。本文为大家展示使用这款云服务器搭建网站的相关教程,以供参考。
阿里云服务器经济型e实例2核2G3M带宽99元搭建网站图文教程参考
|
8月前
|
机器学习/深度学习 人工智能 Rust
马斯克开源Grok-1
每一次技术的突破都预示着未来无限的可能性。近日,马斯克旗下的xAI公司宣布了一个令全球技术爱好者振奋的消息——他们正式开源了拥有3140亿参数的混合专家模型Grok-1。这一举措不仅为开源社区带来了福音,更是在AI发展史上留下了浓墨重彩的一笔。
224 1