马斯克旗下公司宣布开源 Grok-1 模型,参数量达3140亿

简介: 最近,Meta基础人工智能研究(FAIR)团队发布了名为Branch-Train-MiX (BTX)的方法,可从种子模型开始,该模型经过分支,以高吞吐量和低通信成本的并行方式训练专家模型。Meta FAIR的成员之一Jason Weston在其X上发文介绍了这一进展。

北京时间3月18日凌晨,马斯克旗下的人工智能初创公司xAI正式宣布开源大模型Grok-1,遵循Apache 2.0协议开放模型权重和架构。xAI官网显示,xAI已经将Grok-1的权重和架构在软件托管平台GitHub上开源。

官网介绍,Grok-1是3140亿参数的混合专家模型,这也让Grok-1成为迄今参数量最大的开源大语言模型,是Llama 2的4倍。相比之下,公开资料显示,OpenAI GPT-3.5的参数量为1750亿,Grok-1大幅领先。

2023 年 11 月,马斯克旗下的人工智能公司 xAI 发布了首款 AI 聊天产品,取名为 “Grok”。Grok 的名字来自罗伯特・安森・海因莱因的科幻小说《异乡异客》,意思是完全理解某事或某人。Grok 具备以下特点:

  • 「全面的知识」:Grok 在大量文本和代码数据集上进行了训练,使其能够从中汲取广泛的知识。
  • 「实时访问信息」:Grok 可以通过 X 平台获取实时信息,这是相对于其他大语言模型的一大优势。
  • 「幽默」:Grok 被设计成带有幽默感,可以回答一些尖锐的问题,这使得它与用户的互动更具吸引力。
  • 「理解复杂概念的能力」:Grok 能够理解复杂的概念并以清晰简洁的方式解释它们。
  • 「生成创意内容的能力」:Grok 可以生成不同类型的创意内容,例如诗歌、代码、图像和音乐作品。

马斯克表示,xAI将在GitHub上开源它的人工智能聊天机器人Grok,这将允许研究人员和开发人员在该模型的基础上对它进行开发,并能进一步影响Grok的下一步更新。

相关链接

参考

开源中国:https://www.oschina.net/news/283513/grok-open-source


好啦!小弹的分享到此为止。我们更欢迎您分享您对阿里云产品的设想、对功能的建议或者各种吐槽,请扫描提交问卷并获得社区积分或精美礼品一份。https://survey.aliyun.com/apps/zhiliao/P4y44bm_8

【扫码填写上方调研问卷】

欢迎每位来到弹性计算的开发者们来反馈问题哦~

相关文章
|
缓存 边缘计算 监控
2024年前端性能优化的新策略
【10月更文挑战第3天】本文分享了一些2024年前端性能优化的新策略,希望能够为前端开发者提供实用的参考和指导。在实际开发中,应根据应用的具体需求和场景选择合适的优化方法。
|
SQL 开发框架 Java
互联网医院在线问诊系统的设计与实现(论文+源码)_kaic
互联网医院在线问诊系统的设计与实现(论文+源码)_kaic
|
人工智能 自然语言处理 程序员
通义灵码内置 DeepSeek V3 和 R1 满血版 671B模型,免费不限量,免部署!
近期,通义灵码能力再升级全新上线模型选择功能,支持基于百炼的 DeepSeek-V3 和 DeepSeek-R1 满血版671B模型,用户可以在 VSCode 和 JetBrains 里搜索并下载最新通义灵码插件,在输入框里选择模型,即可轻松切换模型。
|
弹性计算 开发框架 .NET
阿里云服务器购买教程及云服务器地域、实例、操作系统、带宽等参数选择指南
对于初次购买阿里云服务器的用户来说,想使用阿里云服务器搭建网站或者运行APP、小程序等项目,第一步就是要先购买阿里云服务器,下面小编以图文形式给大家介绍一下阿里云服务器的购买流程,以及购买过程中如何云服务器地域、实例、带宽等关键配置和选择这些参数的一些注意事项,以供参考。
|
前端开发 JavaScript Java
第6章:Vue中的ajax(包含:回顾发送ajax请求方式、vue-cli脚手架配置代理服务器)
第6章:Vue中的ajax(包含:回顾发送ajax请求方式、vue-cli脚手架配置代理服务器)
353 4
|
存储 算法 C++
【FFmpeg 视频播放】深入理解多媒体播放:同步策略、缓冲技术与性能优化(二)
【FFmpeg 视频播放】深入理解多媒体播放:同步策略、缓冲技术与性能优化
628 0
|
存储 缓存 Android开发
Android 缓存目录 Context.getExternalFilesDir()和Context.getExternalCacheDir()方法
一、基础知识 应用程序在运行的过程中如果需要向手机上保存数据,一般是把数据保存在SDcard中的。大部分应用是直接在SDCard的根目录下创建一个文件夹,然后把数据保存在该文件夹中。这样当该应用被卸载后,这些数据还保留在SDCard中,留下了垃圾数据。
2332 0
|
人工智能 运维 监控
揭秘阿里云Flink智能诊断利器——Fllink Job Advisor
解决用户在使用Flink全托管产品全生命周期中可能遇到的各种难题,提升用户使用Flink的体验,降低对人工服务的依赖。
揭秘阿里云Flink智能诊断利器——Fllink Job Advisor

热门文章

最新文章