一、分享议题:
基于深度学习的稀疏模型训练 GPU 加速
二、直播时间:
2022年10月19日(周三)18:00-18:40
三、 议题介绍:
随着稀疏模型越来越深,越来越宽,如何使用 GPU 加速稀疏模型的训练过程受到广泛的关注。HybridBackend 框架通过对稀疏数据处理、稀疏计算和分布式训练策略上的多重优化,大幅提升了 GPU集群单位成本下的训练吞吐性能,并在阿里巴巴集团内外多个业务落地。
四、听众收益:
- 稀疏模型训练 GPU 加速的主要挑战
- HB框架的目标与主要工作
- HB框架 v0.7 版本功能介绍
- HB框架在公有云上的成功案例
- HB框架训练加速效果示例演示