云栖Day1重磅合集! Qwen2.5-72B成为全球最强开源模型

简介: 今天,2024云栖大会正式开幕通义千问重磅开源Qwen2.5性能超越Llama 405B继续稳居最强开源大模型位置

今天,2024云栖大会正式开幕

通义千问重磅开源Qwen2.5

性能超越Llama 405B

继续稳居最强开源大模型位置


image.png

在MMLU-redux等十多个基准测评中,Qwen2.5-72B表现超越Llama3.1-405B


Qwen2.5 模型支持高达 128K tokens,可生成最多 8K tokens的内容。旗舰模型Qwen2.5-72B-Instruct在MMLU-redux、MATH、MBPP、LiveCodeBench、Arena-Hard、AlignBench、MT-Bench、MultiPL-E等权威测评中表现出色,在多个核心任务上,以不到1/5的参数规模超越了Llama3.1的4050亿参数开源模型


2024云栖大会首日重点速览


今天上午,阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭在2024云栖大会上发表主题演讲。


过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。


image.png


欢迎来到2024云栖大会。在刚刚过去的夏天,阿里云全面支撑巴黎奥运会实现了历史性突破,云计算首次超越卫星,成为奥运主要转播方式。AI也首次广泛应用于奥运会。今天,云栖大会的焦点也是AI。我主要分享三点内容:


第一,过去22个月,AI发展的速度超过任何历史时期,但我们现在依然还处于AGI变革的早期阶段。


大模型技术快速迭代,技术可用性大幅提升。大模型已经具备了文本、语音、视觉的多模态能力,能够开始完成复杂指令。去年,大模型还只能帮助程序员写简单的代码,今天已经能直接理解需求,完成复杂的编程任务。去年,大模型的数学能力还只有中学生水平,今天已达到国际奥赛金牌水平,并在物理、化学、生物等多方面学科接近博士水平。


同时,模型推理成本指数级下降,已经远远超过摩尔定律一年来,通义千问API在阿里云百炼上的调用价格下降了97%,百万Tokens调用花费最低已经降到了5毛钱。推理成本是应用爆发的关键问题,阿里云会努力把成本继续降下去。


开源生态蓬勃发展。今年6月,通义千问开源Qwen2,迅速登顶Huggingface的全球开源模型排行榜。在Huggingface上,Qwen的原生和衍生模型接近5万个,排名全球第二。阿里云魔搭社区上有超过1万个模型、服务了超过690万开发者。


这一切才刚刚开始,要实现真正的AGI,下一代模型需要具备更大规模、更通用、更泛化的知识体系,同时也将具备更复杂更多层次的逻辑推理能力。全世界先进模型竞争的投入门槛,将达到数十亿、数百亿美金的级别。AI具备创造能力、帮助人类解决复杂问题的路径清晰可见,也打开了AI在各行业场景中广泛应用的可能性。


第二,AI最大的想象力不在手机屏幕,而是接管数字世界,改变物理世界。


今天很多行业内人士一直在想AI最大的应用是什么,可能一直在想手机上有什么AI时代创新的超级APP。但我们认为AI最大的想象力绝对不是在手机屏幕上,AI最大的想象力是在通过渗透数字世界、接管数字世界,并改变物理世界,这才是AI最大的想象力。


我们不能只停在移动互联网的视角看未来。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。


过去三十年,互联网浪潮的本质是连接,互联网连接了人、信息、商业和工厂,通过连接提高了世界的协作效率,创造了巨大的价值,改变了人们的生活方式。但生成式AI是通过生产力的供给创造了新的价值,从而为世界创造了更大的内在价值,也就是总体提高了整个世界的生产力水平。这种价值创造,可能是移动互联网连接价值的十倍、几十倍。


我们认为生成式AI将逐渐渗透数字世界,并接管数字世界,物理世界的大部分事物都会具备AI能力,形成下一代的具备AI能力的全新产品,并与云端AI驱动的数字世界连接产生协同效应。


很长一段时间,AI的焦点主要集中在模拟人类的感知能力,比如自然语言理解、语音识别、视觉识别。但是生成式AI的崛起,带来了质的飞跃,AI不再仅仅局限于感知,而是首次展现了思考推理和创造的力量。


生成式AI让世界有了一个统一的语言——Token。它可以是任何文字、代码、图像、视频、声音,或者是人类千百年来的思考。AI模型可以通过对物理世界数据的Token化,理解真实世界的方方面面,比如人类行走、奔跑、驾驶车辆、使用工具,绘画、作曲、写作、表达、教学、编程的技巧,甚至是开公司创业。理解之后,AI就可以模仿人类去执行物理世界的任务。这将带来新的产业革命。


我们看到,汽车行业正在发生这样的变革。之前的自动驾驶技术,是靠人来写算法规则,几十万行代码,仍然无法穷尽所有的驾驶场景。采用“端到端”的大模型技术训练后,AI模型直接学习海量人类驾驶视觉数据,让汽车具备了超越大部分司机的驾驶能力。

机器人将是下一个迎来巨变的行业。未来,所有能移动的物体都会变成智能机器人。它可以是工厂里的机械臂、工地里的起重机、仓库里的搬运工、救火现场的消防员、包括家庭里的宠物狗、保姆、助理。


未来,工厂里会有很多机器人,在AI大模型的指挥下,生产机器人。现在每个城市家庭里有一辆或者两辆车,未来每个家庭可能会有两三个机器人,帮助人们提升生活当中的效率。


可以想见,AI驱动的数字世界连接着具备AI能力的物理世界,将会大幅提升整个世界的生产力,对物理世界的运行效率产生革命性的影响。


第三,AI计算正在加速演进,成为计算体系的主导。


无论是我们看到端侧的计算,还是云端的世界,这都是一个非常明显的趋势。生成式AI对数字世界和物理世界的重构,将带来计算架构的根本性变化。过去几十年,CPU主导的计算体系,正在加速向GPU主导的AI计算体系转移。未来几乎所有的软硬件都会具备推理能力,它们的计算内核将变成GPU AI算力为主、CPU传统计算为辅的计算模式。


我们看到,在新增算力市场上,超过50%的新需求由AI驱动产生,AI算力需求已经占据主流地位。这一趋势还会持续扩大。过去一年,阿里云投资新建了大量的AI算力,但还是远远不能满足客户的旺盛需求。


今天我们接触到的所有客户、所有开发者、所有CTO,几乎都在用AI重构自己的产品。大量新增需求正在由GPU算力驱动,大量存量应用也在用GPU重新改写。在汽车、生物医药、工业仿真、气象预测、教育、企业软件、移动APP、游戏等行业,AI计算正在加速渗透。在各行各业,看不见的新产业革命正在悄然演进。


所有行业,都需要性能更强、规模更大、更适应AI需求的基础设施。


阿里云正在以前所未有的强度投入AI技术研发和基础设施建设。我们的单网络集群已拓展至十万卡级别,正在从芯片、服务器、网络、存储到散热、供电、数据中心等方方面面,重新打造面向未来的AI先进基础设施。


从历史经验来看,人们对新技术革命,往往对短期高估,又对长期低估。因为在新技术应用早期,渗透率还比较低,人们经验没有发生过此类事件,大部分人的本能会产生怀疑,这很正常。但新技术革命会在人们的怀疑中成长,让很多人在迟疑中错过。


站在AI时代浪潮的开端,我感到无比兴奋。今天,我们请到大模型、自动驾驶和机器人三个领域的企业家和科学家。他们正在飞奔着用AI重构我们的世界,期待他们的精彩分享。


谢谢大家。希望大家度过一个充实、愉快的云栖。


通往AGI的大模型发展之路


image.png


第一场圆桌对话主题为“通往AGI的大模型发展之路”,聚焦当下关于模型最热门的话题。


阶跃星辰创始人、首席执行官姜大昕谈到OpenAI发布O1的意义时表示:“OpenAI发布O1,带来了一个Scaling Law的新方向。过去强化学习都是根据特定场景设计,AlphaGo只能下围棋,AlphaFold只能去预测蛋白质的结构。O1的出现,让RL强化学习通用性和泛化性上了一个大的台阶,而且scale到了一个很大的规模,不妨称之为RL Scaling。这等于找到了一条上限很高的道路。”


清华大学人工智能研究院副院长、生数科技首席科学家朱军谈到AGI实现路径时表示:学术界、产业界有AGI L1-L5的分级。L1相当于聊天机器人,L2叫推理者,可以做复杂问题深度思考的推理。L3叫智能体,从“数字世界”走向“物理世界”。L4是创新者,发现、创造一些新的东西。L5是组织者,某种组织方式更高效来运转。O1在L2的narrow场景下,在一些特定任务下已经实现了人类达到很高阶的智能水平。它确实代表着整个行业巨大的进步”。


同时,月之暗面Kimi创始人杨植麟对投资AI产品给出了几个建议。他认为,最核心的是要对用户有价值。其次还要有增量价值,满足ChatGPT无法满足的用户需求。第三, 随着技术的发展,这个产品市场规模应该越来越大,而不是越来越小。


生成式AI重塑自动驾驶


image.png


第二场圆桌对话聚焦大模型在自动驾驶里面的落地进展。


小鹏汽车董事长 CEO何小鹏表示,自动驾驶发展了许多年,只能做到特定场景,比如高速上开或者城市里开。因为它是通过算法人工写规则,一个人无法用规则去面对世界上所有的场景。但端到端的大模型帮助我们提升未来自动驾驶的高度,且拉高下限。到未来的36个月,可以让我们每一个人在每一个城市都像老司机一样开车。


同时,小鹏汽车董事长 CEO何小鹏驾驶“全球首款AI汽车”P7+亮相2024云栖大会,这款车搭载了业内领先的端到端大模型。过去2年,小鹏汽车与阿里云共建的AI算力规模提升超4倍。何小鹏表示,将继续深化与阿里云的AI算力合作,加速推动端到端大模型拓展自动驾驶上限,提升下限。


image.png


NVIDIA全球副总裁、汽车事业部负责人吴新宙表示:“端到端大模型对于自动驾驶应用来说,有两个阶段的,这两个阶段都对自动驾驶的上限有比较大的提高。第一个阶段是端到端,在现有的架构上,把上游的模型和下游的模型可以通过一种方式把它连接起来,然后可以用数据的端到端进行训练,这个业界已经有很多的工作在做了。有了这样的能力以后,你可以更多的把自动驾驶的开发变成数据驱动。第二个才是端到端的大模型,把一些通用的大模型真正放到自动驾驶来,可以提高自动驾驶的上限”


人形机器人的“图灵时刻”


image.png


第三场圆桌对话主题是人形机器人的“图灵时刻”,探讨人形机器人这类物理智能载体,在大模型带动下所发生的变化。


逐际动力创始人张巍认为:“这一代AGI的发展,相比上一代最大的区别,从专用到通用的一个变化。在大模型出来之前,我感觉通用这个词是个贬义词,通用就证明它是没什么用。但是大模型出来以后,大家发现像以前我们这种在专业领域里搜数据、去做专项任务的这种训练的方式是有很大局限性的,要先构建一个通用的基础模型的能力,然后再在上面长出专用的能力,这才是系统化解决泛化性的一个关键。我觉得软件算法的通用性就靠大模型技术,机器人跟物理世界交互的这个通用性,就靠人形机器人”。


北京大学助理教授,北大-银河通用具身智能联合实验室主任、智源学者王鹤表示:“现在的通用机器人,虽然有一些技能,但几乎都是分立的一些小模型。大模型赋能这些技能有几步:第一步是大模型可以作为一个Agent来调用这些API进行长程的任务规划,第二步是大模型可以作为一个Monitor,它看小模型执行过程中有没有出任何错误,及时去终止或者调用别的技能来挽救这些错误,比如药盒掉到地上了,它立马说“你得给它捡起来”;第三步则是最有想象力的端到端,Vision、Language、Action,把动作作为大模型输出的模态,像自动驾驶一样,我们实现一个把通用感知、通用规划或通用执行融为一体的大模型”。


清华大学交叉信息研究院助理教授、星动纪元创始人陈建宇表示:“人形机器人技术分成三大块,就是大脑、小脑和本体。这里面最关键的,我个人认为是小脑的层面,它承接大脑的你的思考、调用硬件本体,真正能帮助我们到这个世界里面干活的。现在人形机器人小脑部分相比于其他几个部分反而是最薄弱的,同时也是技术的不确定性最高的,最没有收敛的。我们希望人形机器人这个小脑,希望它的双腿能够像人一样的又稳又快又灵活,能够帮助我们达到任何一个地方去,我们希望它的双手能够帮助我们上的厅堂、下的厨房,进得工厂,什么都能够去干,做非常灵巧的事情”。


宇树科技创始人、CEO王兴兴对于机器人应用落地表示相对乐观态度,表示:“我觉得到明年,人形机器人在一些固定场景做一些有商业价值的落地应用,基本上问题不大。我个人还是相对乐观,我觉得3年左右,至少全球范围内,有通用型的机器人AI出来的概率还是很大的一件事情。因为跟过去10年不一样,现在整个机器人AI的人才、资金投入都是巨量,都是几百倍甚至上千倍的投入,所以整个时间进展会比较快”。


通义大模型全面升级


image.png


通义大模型宣布年度升级。通义旗舰模型Qwen-Max全方位升级,性能接近GPT-4o。通义官网和通义APP的后台模型均已切换为Qwen-Max,继续免费为所有用户提供服务。


相比2023年4月的最初的通义大模型,Qwen-Max的性能已今非昔比,理解能力提升46%、数学能力提升75%、代码能力提升102%、幻觉抵御能力提升35%、指令遵循能力提升105%,模型与人类偏好的对齐水平更是有了质的飞跃,提升了700%以上。


通通义千问三款主力模型再降价

高降幅85%


image.png


继5月首次大幅降价后,阿里云百炼平台上的三款通义千问主力模型再次降价。Qwen-Turbo价格直降85%,低至百万tokens 0.3元,Qwen-Plus和Qwen-Max分别再降价80%和50%。其中,Qwen-Plus推理能力追平GPT4,可应用于复杂任务,是效果、速度及成本均衡的最优选择,降价后,Qwen-Plus性价比达到业界最高,同等规模较行业价格低84%。同时,阿里云百炼平台还为所有新用户免费赠送超5000万tokens及4500张图片生成额度。


打造最强AI大基建


image.png


AI驱动阿里云全系列产品家族升级。最新上线的磐久AI服务器,支持单机16卡、显存1.5T,并提供AI算法预测GPU故障,准确率达92%;阿里云ACS首次推出GPU容器算力,通过拓扑感知调度,实现计算亲和度和性能的提升;为AI设计的高性能网络架构HPN7.0,可稳定连接超过10万个GPU ,模型端到端训练性能提升10%以上;阿里云CPFS文件存储,数据吞吐20TB/s,为AI智算提供指数级扩展存储能力;人工智能平台PAI,已实现万卡级别的训练推理一体化弹性调度,AI算力有效利用率超90%。


阿里云正以AI为中心,全面重构底层硬件、计算、存储、网络、数据库、大数据,并与AI场景有机适配、融合,加速模型的开发和应用,打造一个AI时代的最强AI基建。


开放最先进的大模型


阿里云作为业内最早布局大模型技术的科技公司之一,去年4月发布首个大语言模型通义千问,如今义大模型家族已全面涵盖语言、图像、视频、音频等全模态,性能均跻身世界第一梯队,同时通义模型持续开源,已成为最受企业和开发者欢迎的国产大模型。

image.png

此次开源的Qwen2.5全系列模型都在18T token数据上进行预训练,相比Qwen2,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-rudex基准(考察通用知识)、MBPP 基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。


同时,Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型,每个尺寸都有基础版本、指令跟随版本、量化版本。同时模型拥有强大的多语言能力,支持中文、英文、法文、西班牙文、俄文、日文、越南文、阿拉伯文等 29 种以上语言。


目前,中国一汽、联想、微博、携程、喜马拉雅、三得利(中国)等30多万企业客户已经接入通义大模型。同时,通义系列大模型自开源以来,成为开发者尤其是中国开发者的首选模型,通义千问开源模型累计下载量已经突破4000万,Qwen系列原生模型和衍生模型总数超过5万个。


通义万相发布全新文生视频模型


通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。即日起,所有用户可通过通义APP及通义万相官网免费体验。


首批上线文生视频、图生视频功能,在文生视频中,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,支持16:9、9:16等多种比例生成;在图生视频功能中,支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。


通义灵码推出全新AI程序员


面向编程场景,阿里云通义灵码再次升级,推出全新AI程序员。从一年前只能完成基础的辅助编程任务,进化到几句话就能完成需求理解、任务拆解、代码编写、修改BUG、测试等开发任务,最快几分钟可从0到1完成应用开发,提升数十倍开发效率。


“我们希望企业和开发者能以最低的成本做AI、用AI,让所有人都能用上最先进的大模型。”阿里云CTO周靖人表示。


2024云栖大会,精彩还在继续
9.19-9.21,持续相约

云栖小镇,不见不散

image.png

image.png


image.png

image.png

image.png

image.png

image.png

image.png



相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
人工智能 自然语言处理 安全
国内首发,阿里云魔搭社区上架百川智能Baichuan 2系列模型
国内首发,阿里云魔搭社区上架百川智能Baichuan 2系列模型
1053 0
|
2月前
|
人工智能 小程序 云栖大会
魔搭社区@2024云栖大会全回顾
9月21日,2024云栖大会圆满落幕。一起来回顾一下吧
魔搭社区@2024云栖大会全回顾
|
6月前
|
自然语言处理 算法 开发者
通义XR实验室文生3D模型开源,魔搭社区最佳实践来啦!
通义实验室XR实验室重磅开源文生3D新模型,能够从一句文本描述构建3D模型及对应纹理,目前已经在Github面向外界开源!与该项技术一起开源的,还有通义实验室推出的Text-to-ND(文本生成深度、法向图)、Text-to-ND-MV(文本生成多视角的深度、法向图)两个大模型。我们先来直观感受一下这两个大模型的魔法能力:
|
数据可视化 测试技术 PyTorch
昆仑万维「天工」Skywork-13B魔搭社区首发开源!魔搭最佳实践来了!
作为国内最具诚意的开源百亿大模型,「天工」Skywork-13B系列无需申请即可实现商用,授权链路极简,且无用户数、行业、公司规模限制。
|
12月前
|
人工智能 弹性计算 JSON
OpenAI首届开发者大会精彩解读,GPT4再升级
美国时间11月6日,OpenAI的CEO山姆·奥特曼(Sam Altman)在旧金山举办了首届开发者大会,在大会上OpenAI正式推出了GPT-4 Turbo以及ChatGPT的一系列升级内容。
|
机器学习/深度学习 人工智能 自然语言处理
“魔搭”来了!一文深度解读达摩院推出的AI模型社区
一文详解ModelScope魔搭社区,模型即服务开启AI开发使用新范式
“魔搭”来了!一文深度解读达摩院推出的AI模型社区
|
SQL 人工智能 JSON
社区供稿 l ChatGLM金融开源FinGLM学习笔记
日前,由中国中文信息学会社会媒体处理专委会主办,智谱 AI、安硕信息、阿里云、魔搭社区、北京交通大学联合承办的「SMP 2023 ChatGLM 金融大模型挑战赛」落下帷幕,该赛事旨在推动大模型在金融垂直行业应用的研究和开发,沉淀大模型落地实践经验。赛后,赛事方第一时间开源开放了赛事相关的代码,目前也开始有开发者小伙伴基于此整理了一些干货笔记,小编特搜罗来向大家分享,希望能给正在关注大模型行业落地的小伙伴们一些帮助。
|
12月前
|
人工智能 算法 数据处理
零一万物发布首款大模型,阿里云魔搭社区开源首发
零一万物发布首款大模型,阿里云魔搭社区开源首发
360 0
|
12月前
|
人工智能 数据可视化 物联网
vivo AI全球研究院 BlueLM-7B系列开源!魔搭社区最佳实践教程来了!
BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型,本次发布包含 7B 基础模型、7B 对话模型,4bits量化的7B对话模型,支持 32K 的长文本基础模型和对话模型。
|
弹性计算 数据可视化 物联网
百川13B模型发布及魔搭最佳实践
百川13B模型发布及魔搭最佳实践