AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!

简介: AI推理性能提升7倍 阿里云第八代企业级实例g8i来了!


今天,阿里云正式发布第八代企业级通用计算实例ECS g8i,基于阿里云自研「飞天+CIPU」架构体系和第五代英特尔至强可扩展处理器,g8i实例的整机性能最高提升85%,AI推理性能最高提升7倍,可支撑高达72B参数的大语言模型,帮助中小规模模型起建成本降低50%。同时新款实例还提供了端到端安全防护,为企业构建可信AI应用提供强有力的隐私增强算力支撑。


01

通用算力再提升,整机性能提升85%


作为企业级通用计算实例,ECS g8i实例在计算、存储、网络和安全等能力得到了全方位提升。


从关键参数上看,ECS g8i实例的L3缓存容量提升到320MB,内存速率高达5600MT/s,整机性能提升85%,单核性能提升25%;存储方面,ESSD云盘提供100万 IOPS,全面搭载NVMe,存储延迟低至百微秒;网络方面,PPS高达3000万,标配阿里云自研eRDMA大规模加速能力,时延低至8微秒;安全方面,ECS g8i实例支持可信计算与加密计算等特性,全球率先支持机密虚拟机TDX技术,构建了全面的安全防护。


在E2E场景下,ECS g8i实例可将MySQL性能提升最高达60%,Redis和Nginx的性能分别提升40%和24%,面向游戏、视频直播、电商、金融、医疗、企业服务等行业提供强劲的算力支持,满足其在数据库、大数据、AI推理等应用场景下对性能的严苛要求。


此外,ECS g8i实例还提供了多种硬件原生加速能力,包括QAT和IAA等加速器。阿里云通过自研技术,将硬件加速能力更细颗粒度透传至实例虚拟机,小规格的ECS g8i实例也同样具备加速能力。其中,依托于QAT原生加解密加速器,在压缩/解压缩场景下性能最大可提升70倍,加解密性能提升4倍以上。


02

为AI提速,可支撑72B参数的大语言模型


针对AI大模型推理在算力上依然面临诸多挑战,例如首包延迟受限于并行处理能力与浮点运算能力,吞吐性能则受限于内存带宽和网络延迟等,阿里云都进行了相当程度的优化,包括内置指令集从AVX512升级到了Intel AMX高级矩阵扩展加速技术,在int 8矩阵计算性能最高提升了7倍,可让生成式AI更快地运行。



基于AMX AI加速能力,g8i可更迅速地响应中小规模参数模型,运行知识检索、问答系统及摘要生成等AI工作负载时,起建成本下降50%。配合阿里云Spot抢占式实例,成本优势将进一步凸显,进一步降低AI推理成本。


与此同时,基于自研eRDMA超低延时弹性网络,阿里云g8i实例集群拥有超低延时网络和高弹性优势,可轻松支撑72B参数级别的大语言模型分布式推理,推理性能随集群规模接近线性加速,并可支持超过32batchsize的超大参数规模的AI模型负载,运行文生图、AI生成代码、虚拟助手以及创意辅助工具等AI工作负载。



以阿里云开源的Qwen-72B大模型为例,可在g8i实例eRDMA网络构建的集群实现高效运行,在输入小于500字情况下,首包延时小于3秒,每秒可生成7个Token。


03

为安全加码,助力企业构建可信AI应用


安全方面,阿里云在全产品线构建了端到端的安全防护,可保障数据存储、数据传输、数据计算的全流程安全。在最底层,基于CIPU的安全架构搭载安全芯片TPM作为硬件可信根,实现服务器的可信启动,确保零篡改;虚拟化层面,支持虚拟可信能力vTPM,提供实例启动过程核心组件的校验能力;在实例可信的基础上支持不同平台的机密计算能力,实现了运行态的内存数据隔离和加密的保护。



值得一提的是,此次升级的ECS g8i实例全量支持Trust Domain Extension TDX 技术能力,业务应用无需更改,即可部署到 TEE 之中,极大降低了技术门槛,并以极低的性能损耗为大模型等AI应用提供隐私增强算力,护航大模型的云上数据安全。



以Qwen-Chat-7B模型为例,启用TDX后,既确保了模型推理的安全可信,也保护了数据的机密性和完整性。


阿里云弹性计算产品线总经理张献涛表示,“ECS g8i实例的强劲表现,证明了以CPU为中心的计算体系同样具备加速AI推理的巨大潜力,公共云不仅可胜任超大规模的AI模型,也为AI应用加速落地开辟了新路径。未来,阿里云将不断深耕技术、持续产品创新,为企业提供更加稳定、强大、安全、弹性的计算服务,推动各行业的AI应用进入全量爆发时代。”


/ END /

目录
相关文章
|
11天前
|
云安全 人工智能 安全
阿里云欧阳欣:AI时代下的安全新范式
2024 云栖大会技术主论坛重磅发布
273 4
阿里云欧阳欣:AI时代下的安全新范式
|
15天前
|
人工智能 运维 安全
阿里云通过ISO42001人工智能管理认证,引领AI治理推动协同共治
9月19日,在杭州云栖大会「AI治理与安全论坛」上,阿里云宣布通过人工智能技术的全生命周期管理ISO42001体系认证。该项认证由国际标准化组织(ISO)和国际电工委员会(IEC)制定,是第一部可认证的人工智能国际管理体系标准。
|
12天前
|
存储 人工智能 运维
重磅!阿里云可观测产品家族全新升级,AI +数据双驱动,打造全栈可观测体系
近日,阿里云可观测产品家族正式发布云监控 2.0,隶属产品日志服务 SLS、云监控 CMS、应用实时监控服务 ARMS 迎来重磅升级。
|
10天前
|
人工智能 安全 测试技术
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
忘掉GPT-5!OpenAI推出全新AI模型系列o1,声称性能达到博士级
|
8天前
|
人工智能 运维 大数据
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
阿里云“触手可及,函数计算玩转 AI 大模型”解决方案评测报告
21 1
|
8天前
|
人工智能 Cloud Native 调度
阿里云容器服务在AI智算场景的创新与实践
2024年云栖大会,我们总结过往支持AI智算基础底座的实践经验、发现与思考,给出《容器服务在AI智算场景的创新与实践》的演讲。不仅希望将所做所想与客户和社区分享,也期待引出更多云原生AI领域的交流和共建。
|
9天前
|
云安全 人工智能 安全
AI时代云安全新范式,阿里云安全能力全线升级!
AI时代,云安全面临着新的挑战,不仅要持续面对以往的传统问题,更需要全新理念落地于产品设计、技术演进、架构设计,才能实现效果、性能、和成本的最优解。
36 0
|
9天前
|
人工智能 关系型数据库 分布式数据库
用友X阿里云:加速AI in SaaS
在今年的云栖大会上,用友公司与阿里云共同宣布将进一步加深合作,推动用友BIP与阿里云深度融合,以SaaS模式为诸多大中型企业客户提供一体化解决方案。同时,通义大模型已作为底层基础大模型集成到用友企业服务大模型YonGPT,加速企业数智化转型。
29 0
|
8天前
|
机器学习/深度学习 数据采集 人工智能
探索AI技术在文本生成中的应用与挑战
【9月更文挑战第26天】本文深入探讨了AI技术在文本生成领域的应用,并分析了其面临的挑战。通过介绍AI文本生成的基本原理、应用场景以及未来发展趋势,帮助读者全面了解该技术的潜力和局限性。同时,文章还提供了代码示例,展示了如何使用Python和相关库实现简单的文本生成模型。
33 9
|
2天前
|
人工智能 自然语言处理 搜索推荐
AI技术在智能客服系统中的应用与挑战
【9月更文挑战第32天】本文将探讨AI技术在智能客服系统中的应用及其面临的挑战。我们将分析AI技术如何改变传统客服模式,提高服务质量和效率,并讨论在实际应用中可能遇到的问题和解决方案。
93 65

热门文章

最新文章

下一篇
无影云桌面