零一万物发布首款大模型,阿里云魔搭社区开源首发

简介: 零一万物发布首款大模型,阿里云魔搭社区开源首发


今天,李开复博士带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型Yi-34B,模型开放商用申请,已在阿里云魔搭社区ModelScope首发。魔搭第一时间推出了模型部署相关教程,供开发者参考并快速上手。


零一万物此次开源的Yi系列模型包含34B和6B两个版本。据Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B 预训练模型取得了多项SOTA 国际最佳性能指标认可,成为全球开源大模型“双料冠军”。


零一万物创始人及 CEO 李开复博士表示:“零一万物坚定进军全球第一梯队目标,从招的第一个人,写的第一行代码,设计的第一个模型开始,就一直抱着成为‘World's No.1’的初衷和决心。”



魔搭社区开源地址:


Yi-34B登顶全球英文及中文权威榜单No.1

在Hugging Face英文测试公开榜单Pretrained预训练开源模型排名中,Yi-34B以70.72分位列全球第一,碾压LLaMA2-70B和Falcon-180B等众多大尺寸模型。


Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜,Yi-34B高居榜首(2023年11月5日)


在C-Eval中文权威榜单排行榜上, Yi-34B超越了全球所有开源模型。对比GPT-4,在CMMLU、E-Eval、Gaokao 三个主要的中文指标上,Yi-34B也具有绝对优势。


C-Eval 排行榜:公开访问的模型,Yi-34B全球第一(2023年11 月5日)


在全球大模型各项评测中最关键的MMLU(Massive Multitask Language Understanding大规模多任务语言理解)、BBH等反映模型综合能力的评测集上,Yi-34B同样表现突出,在通用能力、知识推理、阅读理解等多项指标评比中全部胜出。


各评测集得分:Yi 模型 v.s. 其他开源模型


和LLaMA2一样,Yi系列模型在GSM8k、MBPP的数学和代码评测表现略逊GPT模型。未来,零一万物的系列开源计划中将推出代码能力和数学能力专项的继续训练模型。


200K超长上下文窗口

Yi-34B模型将发布支持200K超长上下文窗口(context window)版本,可以处理约40万汉字超文本输入。上下文窗口是大模型综合运算能力的金指标之一,对于理解和生成与特定上下文相关的文本至关重要。


受限于计算复杂度、数据完备度等问题,上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战。为此,零一万物技术团队实施了一系列优化,包括计算通信重叠、序列并行、通信压缩等,实现了在大规模模型训练中近100倍的能力提升,也为Yi系列模型上下文规模下一次跃升储备了充足“电力”。


AI Infra实测实现40%训练成本下降

李开复曾经表示,“做过大模型Infra的人比做算法的人才更稀缺”。超强的Infra能力是大模型研发的核心护城河之一。


AI Infra(AI Infrastructure 人工智能基础架构技术)涵盖大模型训练和部署提供各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等。


零一万物Yi系列大模型基于阿里云平台打造,阿里云强大的智能算力基础设施为模型训练提供了稳固的基石。零一万物的Infra技术通过“高精度”系统、弹性训和接力训等全栈式解决方案,确保训练高效、安全地进行。


凭借强大的AI Infra,Yi-34B模型训练成本实测下降40%,实际训练完成达标时间与预测的时间误差不到一小时,进一步模拟上到千亿规模训练成本可下降多达50%。目前,零一万物Infra能力实现故障预测准确率超过90%,故障提前发现率达到 99.9%,不需要人工参与的故障自愈率超95%。


零一万物组建了由前Google大数据和知识图谱专家领衔的数据团队,建设了高效、自动、可评价、可扩展的智能数据处理管线;还自研出一套“规模化训练实验平台”,用来指导模型的设计和优化。数据处理管线和加大规模预测的训练能力建设,把以往的大模型训练碰运气的“炼丹”过程变得极度细致和科学化。


李开复宣布,零一万物已启动下一个千亿参数模型的训练。


接下来,零一万物将基于Yi系列大模型,打造更多To C超级应用。李开复强调,“AI 2.0是有史以来最大的科技革命,它带来的改变世界的最大机会一定是平台和技术,正如PC时代的微软Office,移动互联网时代的微信、抖音、美团一样,商业化爆发式增长概率最高的一定是ToC应用。零一万物邀请开发者社群跟我们一起搭建 Yi 开源模型的应用生态系,协力打造AI 2.0时代的超级应用。”



/ END /

目录
相关文章
|
14天前
|
人工智能 JSON API
阿里云文档智能 & RAG解决方案:提升AI大模型业务理解与应用
阿里云推出的文档智能 & RAG解决方案,旨在通过先进的文档解析技术和检索增强生成(RAG)方法,显著提升人工智能大模型在业务场景中的应用效果。该方案通过文档智能(Document Mind)技术将非结构化文档内容转换为结构化数据,提取文档的层级树、样式和版面信息,并输出为Markdown和Json格式,为RAG提供语义分块策略。这一过程不仅解决了文档内容解析错误和切块丢失语义信息的问题,还优化了输出LLM友好的Markdown信息。方案的优势在于其多格式支持能力,能够处理包括Office文档、PDF、Html、图片在内的主流文件类型,返回文档的样式、版面信息和层级树结构。
71 2
|
28天前
|
机器学习/深度学习 数据采集 人工智能
文档智能 & RAG 让AI大模型更懂业务 —— 阿里云LLM知识库解决方案评测
随着数字化转型的深入,企业对文档管理和知识提取的需求日益增长。阿里云推出的文档智能 & RAG(Retrieval-Augmented Generation)解决方案,通过高效的内容清洗、向量化处理、精准的问答召回和灵活的Prompt设计,帮助企业构建强大的LLM知识库,显著提升企业级文档管理的效率和准确性。
|
18天前
|
存储 人工智能 数据可视化
高效率,低成本!且看阿里云AI大模型如何帮助企业提升客服质量和销售转化率
在数字化时代,企业面临海量客户对话数据处理的挑战。阿里云推出的“AI大模型助力客户对话分析”解决方案,通过先进的AI技术和智能化分析,帮助企业精准识别客户意图、发现服务质量问题,并生成详尽的分析报告和可视化数据。该方案采用按需付费模式,有效降低企业运营成本,提升客服质量和销售转化率。
高效率,低成本!且看阿里云AI大模型如何帮助企业提升客服质量和销售转化率
|
29天前
|
人工智能 弹性计算 运维
触手可及:阿里云函数计算助力AI大模型的评测
阿里云推出的面向AI服务器的功能计算(Functional Computing, FC),专为AI应用提供弹性计算资源。该服务支持无服务器部署、自动资源管理和多语言支持,极大简化了AI应用的开发和维护。本文全面评测了FC for AI Server的功能特性、使用体验和成本效益,展示了其在高效部署、成本控制和安全性方面的优势,并通过具体应用案例和改进建议,展望了其未来发展方向。
124 4
|
28天前
|
人工智能 自然语言处理 数据可视化
阿里云AI大模型助力客户对话分析——全方位提升服务与体验
随着数字化转型的推进,企业愈发重视客户互动数据的价值。阿里云推出了一套基于AI大模型的客户对话分析解决方案,通过自动化手段分析大量客户对话数据,提取有价值信息,优化服务流程,提升客户体验。本文将结合技术文档和实际体验,全面评测这一解决方案。
51 2
|
2月前
|
人工智能 自然语言处理
业界首家!阿里云智能媒体服务,卓越级通过中国信通院大模型媒体处理评估
阿里云智能媒体服务作为业界首家获得中国信通院“卓越级”通过。
业界首家!阿里云智能媒体服务,卓越级通过中国信通院大模型媒体处理评估
|
29天前
|
人工智能 自然语言处理 语音技术
简介阿里云大模型的基本概况和产品矩阵
阿里云在大模型领域深入研究,推出了通义千问、通义万相、通义听悟等产品,涵盖自然语言处理、图像生成、语音识别等多个方面,同时提供行业专属模型和MaaS平台,致力于为企业和个人用户提供高效、智能的服务。
|
2月前
|
人工智能 运维 大数据
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
93 2
|
1月前
|
机器学习/深度学习 数据采集 人工智能
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
大模型体验报告:阿里云文档智能 & RAG结合构建LLM知识库
|
2月前
|
文字识别 算法 API
阿里云文档解析(大模型版)优化
阿里云文档解析(大模型版