开发者社区 问答 正文

SmartStage是如何实现自动流水线的?

SmartStage是如何实现自动流水线的?

展开
收起
不吃核桃 2024-08-07 18:15:55 75 分享 版权
1 条回答
写回答
取消 提交回答
  • SmartStage功能能够自动分析稀疏模型训练图中的异步流水线化边界,并自动插入必要的操作,以实现样本数据读取、Embedding查找、Attention/MLP计算等操作的并发流水线化。这种方式能够高效利用计算资源(CPU、GPU),并显著提升训练性能。
    image.png

    2024-08-07 18:40:55
    赞同 2 展开评论
问答地址: