开发者社区 问答 正文

什么是SmartStage(自动流水线)?

什么是SmartStage(自动流水线)?

展开
收起
岩茶芋泥 2022-04-19 10:49:17 926 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • 稀疏模型训练通常包含样本数据的读取、Embedding查找、Attention/MLP计算等,样本读取和Embedding查找非计算密集操作,同时并不能高效利用计算资源(CPU、GPU)。原生框架中提供的dataset.prefetch接口可以异步化样本读取操作,但Embedding查找过程中涉及特征补齐、ID化等复杂的过程,这些过程无法通过prefetch进行流水线化。SmartStage功能能够自动分析图中异步流水线化的边界并自动插入,可以使并发流水线发挥最大的性能提升。

    2022-04-19 16:16:15
    赞同 展开评论