开发者社区 > 弹性计算 > 云服务器ECS > 视频 > 正文

AI基础设施的演进与挑战 | 2024生成式AI大会精彩回放

发布者:弹性计算-百晓生 2024-05-06 14:21:42 201
视频介绍

2024年4月18-19日,2024中国生成式AI大会在北京JW万豪酒店举行,阿里云高级技术专家、阿里云异构计算AI推理团队负责人李鹏受邀在【AI Infra】专场发表题为《AI基础设施的演进与挑战》的主题演讲。

李鹏在大会上谈到,大模型的发展对计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。其中,大模型训练层面,用户在模型装载、模型并行、通信等环节面临各种现实问题,在大模型推理层面,用户在显存、带宽、量化上面临性能瓶颈。

对于如何进一步释放云上性能?阿里云弹性计算为云上客户提供了ECS GPU DeepGPU 增强工具包,帮助用户在云上高效地构建AI训练和AI推理基础设施,从而提高算力利用效率。目前,阿里云ECS DeepGPU 已经帮助众多客户实现性能的大幅提升。其中,LLM微调训练场景下性能最高可提升80% ,Stable Difussion 推理场景下性能最高可提升60%。


视频标签:

云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息,加速自己的技术成长。

+关注
弹性计算-百晓生
专注分享云计算、云服务器相关知识,做技术先进、性能优异、稳如磐石的弹性计算!
文章
问答
视频

相关产品

  • 轻量应用服务器
  • FPGA云服务器
  • 云服务器 ECS
  • 相关文章
    更多