云服务器ECS
关注
云服务器ECS是一种安全可靠、弹性可伸缩的IaaS级云计算服务。在这里你可以获取最新的ECS产品资讯、最前沿的技术交流以及优惠活动等信息，加速自己的技术成长。
1
今日
6328
内容
81
活动
420302
关注
来自：
弹性计算
AI基础设施的演进与挑战 | 2024生成式AI大会精彩回放
2024年4月18-19日，2024中国生成式AI大会在北京JW万豪酒店举行，阿里云高级技术专家、阿里云异构计算AI推理团队负责人李鹏受邀在【AI Infra】专场发表题为《AI基础设施的演进与挑战》的主题演讲。 李鹏在大会上谈到，大模型的发展对计算体系结构带来了功耗墙、内存墙和通讯墙等多重挑战。其中，大模型训练层面，用户在模型装载、模型并行、通信等环节面临各种现实问题，在大模型推理层面，用户在显存、带宽、量化上面临性能瓶颈。 对于如何进一步释放云上性能？阿里云弹性计算为云上客户提供了ECS GPU DeepGPU 增强工具包，帮助用户在云上高效地构建AI训练和AI推理基础设施，从而提高算力利用效率。目前，阿里云ECS DeepGPU 已经帮助众多客户实现性能的大幅提升。其中，LLM微调训练场景下性能最高可提升80% ，Stable Difussion 推理场景下性能最高可提升60%。
549
1
1
我要发布