开发者社区> 问答> 正文

在EPL中,如何通过strategyannotation实现流水并行,并设定pipeline的数量?

在EPL中,如何通过strategy annotation实现流水并行,并设定pipeline的micro batch数量?

展开
收起
萝卜丝丸子 2024-08-05 21:45:02 24 0
1 条回答
写回答
取消 提交回答
  • 在EPL中,用户可以通过pipeline.num_micro_batch参数来设定pipeline的micro batch数量,并通过strategy annotation将模型划分为多个TaskGraph来实现流水并行。例如,模型被切分为"stage0"和"stage1",这两个TaskGraph组成一个模型副本,共需2张GPU卡。如果用户申请了8张卡,EPL会自动在pipeline外嵌套一层并行度为4的数据并行。

    2024-08-05 22:08:24
    赞同 3 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载