云栖Day1重磅合集! Qwen2.5-72B成为全球最强开源模型

简介: 今天,2024云栖大会正式开幕通义千问重磅开源Qwen2.5性能超越Llama 405B继续稳居最强开源大模型位置

今天,2024云栖大会正式开幕

通义千问重磅开源Qwen2.5

性能超越Llama 405B

继续稳居最强开源大模型位置


image.png

在MMLU-redux等十多个基准测评中,Qwen2.5-72B表现超越Llama3.1-405B


Qwen2.5 模型支持高达 128K tokens,可生成最多 8K tokens的内容。旗舰模型Qwen2.5-72B-Instruct在MMLU-redux、MATH、MBPP、LiveCodeBench、Arena-Hard、AlignBench、MT-Bench、MultiPL-E等权威测评中表现出色,在多个核心任务上,以不到1/5的参数规模超越了Llama3.1的4050亿参数开源模型


2024云栖大会首日重点速览


今天上午,阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭在2024云栖大会上发表主题演讲。


过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。


image.png


欢迎来到2024云栖大会。在刚刚过去的夏天,阿里云全面支撑巴黎奥运会实现了历史性突破,云计算首次超越卫星,成为奥运主要转播方式。AI也首次广泛应用于奥运会。今天,云栖大会的焦点也是AI。我主要分享三点内容:


第一,过去22个月,AI发展的速度超过任何历史时期,但我们现在依然还处于AGI变革的早期阶段。


大模型技术快速迭代,技术可用性大幅提升。大模型已经具备了文本、语音、视觉的多模态能力,能够开始完成复杂指令。去年,大模型还只能帮助程序员写简单的代码,今天已经能直接理解需求,完成复杂的编程任务。去年,大模型的数学能力还只有中学生水平,今天已达到国际奥赛金牌水平,并在物理、化学、生物等多方面学科接近博士水平。


同时,模型推理成本指数级下降,已经远远超过摩尔定律一年来,通义千问API在阿里云百炼上的调用价格下降了97%,百万Tokens调用花费最低已经降到了5毛钱。推理成本是应用爆发的关键问题,阿里云会努力把成本继续降下去。


开源生态蓬勃发展。今年6月,通义千问开源Qwen2,迅速登顶Huggingface的全球开源模型排行榜。在Huggingface上,Qwen的原生和衍生模型接近5万个,排名全球第二。阿里云魔搭社区上有超过1万个模型、服务了超过690万开发者。


这一切才刚刚开始,要实现真正的AGI,下一代模型需要具备更大规模、更通用、更泛化的知识体系,同时也将具备更复杂更多层次的逻辑推理能力。全世界先进模型竞争的投入门槛,将达到数十亿、数百亿美金的级别。AI具备创造能力、帮助人类解决复杂问题的路径清晰可见,也打开了AI在各行业场景中广泛应用的可能性。


第二,AI最大的想象力不在手机屏幕,而是接管数字世界,改变物理世界。


今天很多行业内人士一直在想AI最大的应用是什么,可能一直在想手机上有什么AI时代创新的超级APP。但我们认为AI最大的想象力绝对不是在手机屏幕上,AI最大的想象力是在通过渗透数字世界、接管数字世界,并改变物理世界,这才是AI最大的想象力。


我们不能只停在移动互联网的视角看未来。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。


过去三十年,互联网浪潮的本质是连接,互联网连接了人、信息、商业和工厂,通过连接提高了世界的协作效率,创造了巨大的价值,改变了人们的生活方式。但生成式AI是通过生产力的供给创造了新的价值,从而为世界创造了更大的内在价值,也就是总体提高了整个世界的生产力水平。这种价值创造,可能是移动互联网连接价值的十倍、几十倍。


我们认为生成式AI将逐渐渗透数字世界,并接管数字世界,物理世界的大部分事物都会具备AI能力,形成下一代的具备AI能力的全新产品,并与云端AI驱动的数字世界连接产生协同效应。


很长一段时间,AI的焦点主要集中在模拟人类的感知能力,比如自然语言理解、语音识别、视觉识别。但是生成式AI的崛起,带来了质的飞跃,AI不再仅仅局限于感知,而是首次展现了思考推理和创造的力量。


生成式AI让世界有了一个统一的语言——Token。它可以是任何文字、代码、图像、视频、声音,或者是人类千百年来的思考。AI模型可以通过对物理世界数据的Token化,理解真实世界的方方面面,比如人类行走、奔跑、驾驶车辆、使用工具,绘画、作曲、写作、表达、教学、编程的技巧,甚至是开公司创业。理解之后,AI就可以模仿人类去执行物理世界的任务。这将带来新的产业革命。


我们看到,汽车行业正在发生这样的变革。之前的自动驾驶技术,是靠人来写算法规则,几十万行代码,仍然无法穷尽所有的驾驶场景。采用“端到端”的大模型技术训练后,AI模型直接学习海量人类驾驶视觉数据,让汽车具备了超越大部分司机的驾驶能力。

机器人将是下一个迎来巨变的行业。未来,所有能移动的物体都会变成智能机器人。它可以是工厂里的机械臂、工地里的起重机、仓库里的搬运工、救火现场的消防员、包括家庭里的宠物狗、保姆、助理。


未来,工厂里会有很多机器人,在AI大模型的指挥下,生产机器人。现在每个城市家庭里有一辆或者两辆车,未来每个家庭可能会有两三个机器人,帮助人们提升生活当中的效率。


可以想见,AI驱动的数字世界连接着具备AI能力的物理世界,将会大幅提升整个世界的生产力,对物理世界的运行效率产生革命性的影响。


第三,AI计算正在加速演进,成为计算体系的主导。


无论是我们看到端侧的计算,还是云端的世界,这都是一个非常明显的趋势。生成式AI对数字世界和物理世界的重构,将带来计算架构的根本性变化。过去几十年,CPU主导的计算体系,正在加速向GPU主导的AI计算体系转移。未来几乎所有的软硬件都会具备推理能力,它们的计算内核将变成GPU AI算力为主、CPU传统计算为辅的计算模式。


我们看到,在新增算力市场上,超过50%的新需求由AI驱动产生,AI算力需求已经占据主流地位。这一趋势还会持续扩大。过去一年,阿里云投资新建了大量的AI算力,但还是远远不能满足客户的旺盛需求。


今天我们接触到的所有客户、所有开发者、所有CTO,几乎都在用AI重构自己的产品。大量新增需求正在由GPU算力驱动,大量存量应用也在用GPU重新改写。在汽车、生物医药、工业仿真、气象预测、教育、企业软件、移动APP、游戏等行业,AI计算正在加速渗透。在各行各业,看不见的新产业革命正在悄然演进。


所有行业,都需要性能更强、规模更大、更适应AI需求的基础设施。


阿里云正在以前所未有的强度投入AI技术研发和基础设施建设。我们的单网络集群已拓展至十万卡级别,正在从芯片、服务器、网络、存储到散热、供电、数据中心等方方面面,重新打造面向未来的AI先进基础设施。


从历史经验来看,人们对新技术革命,往往对短期高估,又对长期低估。因为在新技术应用早期,渗透率还比较低,人们经验没有发生过此类事件,大部分人的本能会产生怀疑,这很正常。但新技术革命会在人们的怀疑中成长,让很多人在迟疑中错过。


站在AI时代浪潮的开端,我感到无比兴奋。今天,我们请到大模型、自动驾驶和机器人三个领域的企业家和科学家。他们正在飞奔着用AI重构我们的世界,期待他们的精彩分享。


谢谢大家。希望大家度过一个充实、愉快的云栖。


通往AGI的大模型发展之路


image.png


第一场圆桌对话主题为“通往AGI的大模型发展之路”,聚焦当下关于模型最热门的话题。


阶跃星辰创始人、首席执行官姜大昕谈到OpenAI发布O1的意义时表示:“OpenAI发布O1,带来了一个Scaling Law的新方向。过去强化学习都是根据特定场景设计,AlphaGo只能下围棋,AlphaFold只能去预测蛋白质的结构。O1的出现,让RL强化学习通用性和泛化性上了一个大的台阶,而且scale到了一个很大的规模,不妨称之为RL Scaling。这等于找到了一条上限很高的道路。”


清华大学人工智能研究院副院长、生数科技首席科学家朱军谈到AGI实现路径时表示:学术界、产业界有AGI L1-L5的分级。L1相当于聊天机器人,L2叫推理者,可以做复杂问题深度思考的推理。L3叫智能体,从“数字世界”走向“物理世界”。L4是创新者,发现、创造一些新的东西。L5是组织者,某种组织方式更高效来运转。O1在L2的narrow场景下,在一些特定任务下已经实现了人类达到很高阶的智能水平。它确实代表着整个行业巨大的进步”。


同时,月之暗面Kimi创始人杨植麟对投资AI产品给出了几个建议。他认为,最核心的是要对用户有价值。其次还要有增量价值,满足ChatGPT无法满足的用户需求。第三, 随着技术的发展,这个产品市场规模应该越来越大,而不是越来越小。


生成式AI重塑自动驾驶


image.png


第二场圆桌对话聚焦大模型在自动驾驶里面的落地进展。


小鹏汽车董事长 CEO何小鹏表示,自动驾驶发展了许多年,只能做到特定场景,比如高速上开或者城市里开。因为它是通过算法人工写规则,一个人无法用规则去面对世界上所有的场景。但端到端的大模型帮助我们提升未来自动驾驶的高度,且拉高下限。到未来的36个月,可以让我们每一个人在每一个城市都像老司机一样开车。


同时,小鹏汽车董事长 CEO何小鹏驾驶“全球首款AI汽车”P7+亮相2024云栖大会,这款车搭载了业内领先的端到端大模型。过去2年,小鹏汽车与阿里云共建的AI算力规模提升超4倍。何小鹏表示,将继续深化与阿里云的AI算力合作,加速推动端到端大模型拓展自动驾驶上限,提升下限。


image.png


NVIDIA全球副总裁、汽车事业部负责人吴新宙表示:“端到端大模型对于自动驾驶应用来说,有两个阶段的,这两个阶段都对自动驾驶的上限有比较大的提高。第一个阶段是端到端,在现有的架构上,把上游的模型和下游的模型可以通过一种方式把它连接起来,然后可以用数据的端到端进行训练,这个业界已经有很多的工作在做了。有了这样的能力以后,你可以更多的把自动驾驶的开发变成数据驱动。第二个才是端到端的大模型,把一些通用的大模型真正放到自动驾驶来,可以提高自动驾驶的上限”


人形机器人的“图灵时刻”


image.png


第三场圆桌对话主题是人形机器人的“图灵时刻”,探讨人形机器人这类物理智能载体,在大模型带动下所发生的变化。


逐际动力创始人张巍认为:“这一代AGI的发展,相比上一代最大的区别,从专用到通用的一个变化。在大模型出来之前,我感觉通用这个词是个贬义词,通用就证明它是没什么用。但是大模型出来以后,大家发现像以前我们这种在专业领域里搜数据、去做专项任务的这种训练的方式是有很大局限性的,要先构建一个通用的基础模型的能力,然后再在上面长出专用的能力,这才是系统化解决泛化性的一个关键。我觉得软件算法的通用性就靠大模型技术,机器人跟物理世界交互的这个通用性,就靠人形机器人”。


北京大学助理教授,北大-银河通用具身智能联合实验室主任、智源学者王鹤表示:“现在的通用机器人,虽然有一些技能,但几乎都是分立的一些小模型。大模型赋能这些技能有几步:第一步是大模型可以作为一个Agent来调用这些API进行长程的任务规划,第二步是大模型可以作为一个Monitor,它看小模型执行过程中有没有出任何错误,及时去终止或者调用别的技能来挽救这些错误,比如药盒掉到地上了,它立马说“你得给它捡起来”;第三步则是最有想象力的端到端,Vision、Language、Action,把动作作为大模型输出的模态,像自动驾驶一样,我们实现一个把通用感知、通用规划或通用执行融为一体的大模型”。


清华大学交叉信息研究院助理教授、星动纪元创始人陈建宇表示:“人形机器人技术分成三大块,就是大脑、小脑和本体。这里面最关键的,我个人认为是小脑的层面,它承接大脑的你的思考、调用硬件本体,真正能帮助我们到这个世界里面干活的。现在人形机器人小脑部分相比于其他几个部分反而是最薄弱的,同时也是技术的不确定性最高的,最没有收敛的。我们希望人形机器人这个小脑,希望它的双腿能够像人一样的又稳又快又灵活,能够帮助我们达到任何一个地方去,我们希望它的双手能够帮助我们上的厅堂、下的厨房,进得工厂,什么都能够去干,做非常灵巧的事情”。


宇树科技创始人、CEO王兴兴对于机器人应用落地表示相对乐观态度,表示:“我觉得到明年,人形机器人在一些固定场景做一些有商业价值的落地应用,基本上问题不大。我个人还是相对乐观,我觉得3年左右,至少全球范围内,有通用型的机器人AI出来的概率还是很大的一件事情。因为跟过去10年不一样,现在整个机器人AI的人才、资金投入都是巨量,都是几百倍甚至上千倍的投入,所以整个时间进展会比较快”。


通义大模型全面升级


image.png


通义大模型宣布年度升级。通义旗舰模型Qwen-Max全方位升级,性能接近GPT-4o。通义官网和通义APP的后台模型均已切换为Qwen-Max,继续免费为所有用户提供服务。


相比2023年4月的最初的通义大模型,Qwen-Max的性能已今非昔比,理解能力提升46%、数学能力提升75%、代码能力提升102%、幻觉抵御能力提升35%、指令遵循能力提升105%,模型与人类偏好的对齐水平更是有了质的飞跃,提升了700%以上。


通通义千问三款主力模型再降价

高降幅85%


image.png


继5月首次大幅降价后,阿里云百炼平台上的三款通义千问主力模型再次降价。Qwen-Turbo价格直降85%,低至百万tokens 0.3元,Qwen-Plus和Qwen-Max分别再降价80%和50%。其中,Qwen-Plus推理能力追平GPT4,可应用于复杂任务,是效果、速度及成本均衡的最优选择,降价后,Qwen-Plus性价比达到业界最高,同等规模较行业价格低84%。同时,阿里云百炼平台还为所有新用户免费赠送超5000万tokens及4500张图片生成额度。


打造最强AI大基建


image.png


AI驱动阿里云全系列产品家族升级。最新上线的磐久AI服务器,支持单机16卡、显存1.5T,并提供AI算法预测GPU故障,准确率达92%;阿里云ACS首次推出GPU容器算力,通过拓扑感知调度,实现计算亲和度和性能的提升;为AI设计的高性能网络架构HPN7.0,可稳定连接超过10万个GPU ,模型端到端训练性能提升10%以上;阿里云CPFS文件存储,数据吞吐20TB/s,为AI智算提供指数级扩展存储能力;人工智能平台PAI,已实现万卡级别的训练推理一体化弹性调度,AI算力有效利用率超90%。


阿里云正以AI为中心,全面重构底层硬件、计算、存储、网络、数据库、大数据,并与AI场景有机适配、融合,加速模型的开发和应用,打造一个AI时代的最强AI基建。


开放最先进的大模型


阿里云作为业内最早布局大模型技术的科技公司之一,去年4月发布首个大语言模型通义千问,如今义大模型家族已全面涵盖语言、图像、视频、音频等全模态,性能均跻身世界第一梯队,同时通义模型持续开源,已成为最受企业和开发者欢迎的国产大模型。

image.png

此次开源的Qwen2.5全系列模型都在18T token数据上进行预训练,相比Qwen2,拥有更多的知识、更强的编程和数学能力。Qwen2.5-72B模型在MMLU-rudex基准(考察通用知识)、MBPP 基准(考察代码能力)和MATH基准(考察数学能力)的得分高达86.8、88.2、83.1。


同时,Qwen2.5全系列涵盖多个尺寸的大语言模型、多模态模型、数学模型和代码模型,每个尺寸都有基础版本、指令跟随版本、量化版本。同时模型拥有强大的多语言能力,支持中文、英文、法文、西班牙文、俄文、日文、越南文、阿拉伯文等 29 种以上语言。


目前,中国一汽、联想、微博、携程、喜马拉雅、三得利(中国)等30多万企业客户已经接入通义大模型。同时,通义系列大模型自开源以来,成为开发者尤其是中国开发者的首选模型,通义千问开源模型累计下载量已经突破4000万,Qwen系列原生模型和衍生模型总数超过5万个。


通义万相发布全新文生视频模型


通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。即日起,所有用户可通过通义APP及通义万相官网免费体验。


首批上线文生视频、图生视频功能,在文生视频中,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,支持16:9、9:16等多种比例生成;在图生视频功能中,支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。


通义灵码推出全新AI程序员


面向编程场景,阿里云通义灵码再次升级,推出全新AI程序员。从一年前只能完成基础的辅助编程任务,进化到几句话就能完成需求理解、任务拆解、代码编写、修改BUG、测试等开发任务,最快几分钟可从0到1完成应用开发,提升数十倍开发效率。


“我们希望企业和开发者能以最低的成本做AI、用AI,让所有人都能用上最先进的大模型。”阿里云CTO周靖人表示。


2024云栖大会,精彩还在继续
9.19-9.21,持续相约

云栖小镇,不见不散

image.png

image.png


image.png

image.png

image.png

image.png

image.png

image.png



相关实践学习
部署Stable Diffusion玩转AI绘画(GPU云服务器)
本实验通过在ECS上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。
目录
相关文章
|
机器学习/深度学习 人工智能 达摩院
阿里云开发者社区 x 达摩院 x计算平台事业部 大数据 + AI向量检索专场Meetup回顾(内含讲师PPT领取)
阿里云开发者社区 x 达摩院 x计算平台事业部 大数据 + AI向量检索专场。来自,阿里巴巴、爱奇艺、Zilliz、搜狐、Jina.AI等公司的九位重量级讲师在现场分享了他们前沿的向量检索技术思考与实践沉淀总结,快来领取讲师精彩ppt!
1594 0
阿里云开发者社区 x 达摩院 x计算平台事业部 大数据 + AI向量检索专场Meetup回顾(内含讲师PPT领取)
|
2月前
|
人工智能 小程序 云栖大会
魔搭社区@2024云栖大会全回顾
9月21日,2024云栖大会圆满落幕。一起来回顾一下吧
魔搭社区@2024云栖大会全回顾
|
数据可视化 测试技术 PyTorch
昆仑万维「天工」Skywork-13B魔搭社区首发开源!魔搭最佳实践来了!
作为国内最具诚意的开源百亿大模型,「天工」Skywork-13B系列无需申请即可实现商用,授权链路极简,且无用户数、行业、公司规模限制。
|
人工智能 弹性计算 JSON
OpenAI首届开发者大会精彩解读,GPT4再升级
美国时间11月6日,OpenAI的CEO山姆·奥特曼(Sam Altman)在旧金山举办了首届开发者大会,在大会上OpenAI正式推出了GPT-4 Turbo以及ChatGPT的一系列升级内容。
|
SQL 人工智能 JSON
社区供稿 l ChatGLM金融开源FinGLM学习笔记
日前,由中国中文信息学会社会媒体处理专委会主办,智谱 AI、安硕信息、阿里云、魔搭社区、北京交通大学联合承办的「SMP 2023 ChatGLM 金融大模型挑战赛」落下帷幕,该赛事旨在推动大模型在金融垂直行业应用的研究和开发,沉淀大模型落地实践经验。赛后,赛事方第一时间开源开放了赛事相关的代码,目前也开始有开发者小伙伴基于此整理了一些干货笔记,小编特搜罗来向大家分享,希望能给正在关注大模型行业落地的小伙伴们一些帮助。
|
人工智能 数据可视化 物联网
vivo AI全球研究院 BlueLM-7B系列开源!魔搭社区最佳实践教程来了!
BlueLM 是由 vivo AI 全球研究院自主研发的大规模预训练语言模型,本次发布包含 7B 基础模型、7B 对话模型,4bits量化的7B对话模型,支持 32K 的长文本基础模型和对话模型。
|
人工智能 算法 数据处理
零一万物发布首款大模型,阿里云魔搭社区开源首发
零一万物发布首款大模型,阿里云魔搭社区开源首发
363 0
|
弹性计算 数据可视化 物联网
百川13B模型发布及魔搭最佳实践
百川13B模型发布及魔搭最佳实践
|
云栖大会
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
477 0
2022云栖大会 | ModelScope模型社区分论坛即将重磅发布(11月3日)
|
机器学习/深度学习 人工智能 弹性计算
五年磨一剑:阿里达摩院重磅推出AI模型社区「魔搭」,300+模型全面开源
五年磨一剑:阿里达摩院重磅推出AI模型社区「魔搭」,300+模型全面开源
1117 0