社区供稿 | 零一万物 Yi-34B开源大模型,邀请全球开发者共建创新生态

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 大语言模型已经成为AI核心基础能力,全球发展方兴未艾,头部企业并驱争先。近日,全球AI专家李开复博士带队创办AI 2.0公司零一万物,正式开源发布 Yi Open-source。

01

介绍


大语言模型已经成为AI核心基础能力,全球发展方兴未艾,头部企业并驱争先。近日,全球AI专家李开复博士带队创办AI 2.0公司零一万物,正式开源发布 Yi Open-source。


零一万物此次开源发布的Yi系列预训练大模型包含34B和6B两个版本。Yi-6B 适合个人及研究用途,高质量 Yi-34B 已具大模型涌现能力,适合发挥于多元场景,满足开源社区的刚性需求。


根据 Hugging Face 英文开源社区平台和C-Eval 中文评测的最新榜单,Yi-34B在多项评测中全球领跑,在MMLU等评测中取得了多项 SOTA 国际最佳性能指标表现,以更小模型尺寸评测超越 LLaMA2-70B、Falcon-180B 等大尺寸开源模型,对开发者社群更为友好。


Yi-34B还直接开源了可支持200K 超长上下文窗口版本,可以处理约40万汉字超长文本输入。很多依赖于向量数据库构建外部知识库的场景,都可以用上下文窗口来进行替代,给想要在更长上下文窗口进行微调的开发者提供了更多的可能性。


目前Yi-34B和Yi-6B已在 Hugging Face、ModelScope、GitHub 三大全球开源社区平台正式上线,对学术研究完全开放,同步开放免费商用申请,给开源社区的开发者在使用LLM的过程中提供了更多、更优质的选择。


Yi-34B的模型尺寸在开源社区属于稀缺的“甜点级”尺寸,虽然不大但是已经达到了“涌现”的门槛。技术规格:

* 4 bit 可单张 4090 或 3090 24G 显存版本


本次开源的基座模型进行了比较均衡的IQ和EQ的配置,保留了后续进行不同方向微调的可能性。为了能让语言模型有更好的应用效果,广大开发者可以基于基座模型进行微调,GitHub 01Yi 开源网页上已经提供了简单的微调代码,同时模型和主流语言模型微调框架兼容,开发者可以自行进行适配。


从Yi-34B开始,接下来,零一万物还将基于Yi 基座模型,快节奏开源发布一系列的量化版本、对话模型、数学模型、代码模型和多模态模型等。


零一万物坚信基于大模型的技术将诞生比移动互联网大十倍的平台机会,AI 2.0 时代将诞生新一批 “AI-first” 的应用,于是坚定以生态开源方向全球首发,将第一款高质量模型贡献于国际开源社区。


我们相信生态与开发者是语言大模型的核心。邀请开发者跟我们一起搭建Yi开源模型的创新生态体系,引领下一代前沿创新和商业模型,零一万物也承诺以最大的努力,长期投入开源模型的迭代进步和开发者社群支持。


Look forward to seeing wonderful projects from the community 🔧💪


02

Yi Open-soruce 开源地址


ModelScope:

https://www.modelscope.cn/models/01ai/Yi-34B/summaryhttps://www.modelscope.cn/models/01ai/Yi-6B/summary

https://www.modelscope.cn/models/01ai/Yi-34B-200k/summary

https://www.modelscope.cn/models/01ai/Yi-6B-200k/summary


Hugging Face:

https://huggingface.co/01-ai/Yi-34B;https://huggingface.co/01-ai/Yi-34B-200K

https://huggingface.co/01-ai/Yi-6B;https://huggingface.co/01-ai/Yi-6B-200K  


GitHub:

https://github.com/01-ai/Yi 


03

火热预告


2023年11月14日,抢先注册 01.AI Playground体验对话,提前试用Yi-34B Chat Model能力https://cn.mikecrm.com/gnEZjiQ(我们将根据报名信息匹配度选取试用者并提前联系)


预计两周内,Yi Open-source 将在开源平台正式发布 Yi-34B,Yi-6B Chat Model 及量化版本


相关文章
|
4月前
|
存储 人工智能 自然语言处理
社区供稿 | 开放开源!蚂蚁集团浙江大学联合发布开源大模型知识抽取框架OneKE
OneKE 是由蚂蚁集团和浙江大学联合研发的大模型知识抽取框架,具备中英文双语、多领域多任务的泛化知识抽取能力,并提供了完善的工具链支持。OneKE 以开源形式贡献给 OpenKG 开放知识图谱社区。
|
4月前
|
Linux Anolis 开发者
|
4月前
|
机器学习/深度学习 人工智能 算法
re:Invent 云端历程:Swami Sivasubramanian 博士主题演讲-数据共生与开放
re:Invent 云端历程:Swami Sivasubramanian 博士主题演讲-数据共生与开放
|
11月前
|
人工智能 边缘计算 Cloud Native
2023开放原子全球开源峰会参会感受:英特尔开源技术合作与产品创新
2023开放原子全球开源峰会参会感受:英特尔开源技术合作与产品创新
49 0
|
人工智能 Cloud Native 安全
重磅嘉宾畅聊大数据&AI开源话题,零距离感受激荡开源江湖
「开源人说」第四期——大数据& AI专场在今年云栖大会举办,阿里巴巴开源委员会大数据AI领域副主席王峰和阿里云AI开源项目EasyRec负责人施兴现场分享热门开源项目背后的故事。开源中国创始人&CTO红薯,白鲸开源联合创始人代立冬,浙大博导赵俊博,InfoQ总编辑王一鹏、Apache软件基金会成员李钰等嘉宾圆桌共话,对开源热点及痛点问题展开激烈讨论。
195113 36
重磅嘉宾畅聊大数据&AI开源话题,零距离感受激荡开源江湖
|
人工智能 运维 数据可视化
参与共建 SolidUI AI 生成可视化项目:开源社区的力量
SolidUI是一个开源的AI生成可视化项目,旨在帮助开发者快速构建可视化界面。我们诚挚邀请您加入SolidUI社区,与我们共同打造更加优秀的开源项目。本文将为您介绍如何参与到SolidUI的共建中来,包括相关链接、当前项目进展以及如何为项目做出贡献。
131 0
|
人工智能 安全 算法
【社区图书馆】《新程序员005:开源深度指南 & 新金融背后的科技力量》
【社区图书馆】《新程序员005:开源深度指南 & 新金融背后的科技力量》
|
人工智能 Cloud Native 安全
「开源人说」|大咖齐聚首,大数据&AI开源话题对碰
「开源人说」第四期——大数据& AI专场在今年云栖大会举办,阿里巴巴开源委员会大数据AI领域副主席王峰和阿里云AI开源项目EasyRec负责人施兴现场分享热门开源项目背后的故事。开源中国创始人&CTO红薯,白鲸开源联合创始人代立冬,浙大博导赵俊博,InfoQ总编辑王一鹏、Apache软件基金会成员李钰等嘉宾圆桌共话,对开源热点及痛点问题展开激烈讨论。
138867 5
「开源人说」|大咖齐聚首,大数据&AI开源话题对碰
|
云栖大会
精华回顾:阿里云产品生态伙伴发展最新进展
阿里云坚信与产品生态伙伴们,会一起把云生态在数字经济时代打造的更好
303 0
|
消息中间件 存储 Cloud Native
致云原生开发者:这里有一场全球顶尖的编程大赛,欢迎来战
为了给云原生开发者提供更好的实战舞台,今年第二届云原生编程挑战赛正式启动,赛题升级,大咖坐镇,挑战 Serverless 极致创新,与全球开发者同场竞技,用技术解决实际问题!
342 5
致云原生开发者:这里有一场全球顶尖的编程大赛,欢迎来战