问题一：EPL框架在阿里巴巴内部支持哪些业务场景，并举例说明？
EPL框架在阿里巴巴内部支持哪些业务场景，并举例说明？
参考回答：
EPL框架在阿里巴巴内部支持图像、推荐、语音、视频、自然语言、多模态等多种业务场景。例如，EPL成功支持了10万亿规模的M6模型训练和Bert模型的训练，展现了其在大规模模型训练方面的能力。 
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/674998
问题二：在T5模型上，EPL通过哪些显存优化技术的组合使用，实现了显存的极致优化？
在T5模型上，EPL通过哪些显存优化技术的组合使用，实现了显存的极致优化？
参考回答：
在T5模型上，EPL通过开启GC（Gradient Checkpoint）、ZeRO和显存优化的AMP技术的组合使用，实现了显存的极致优化。在性能保持不变的情况下，显存降低了2.6倍。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/675000
问题三：训练万亿/10万亿参数的M6模型时，EPL框架如何实现算力需求的降低？
训练万亿/10万亿参数的M6模型时，EPL框架如何实现算力需求的降低？
参考回答：
为了降低训练万亿/10万亿参数M6模型的算力需求，EPL框架中实现了MoE(Mixture-of-Experts)结构。MoE通过稀疏激活的特点，使用Gating(Router)为输入选择Top-k的expert进行计算，从而大大减少算力需求。此外，EPL还支持专家并行(EP)，将experts拆分到多个devices上，进一步降低单个device的显存和算力需求。 
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/675001
问题四：在训练M6模型时，EPL采用了哪些并行策略？
在训练M6模型时，EPL采用了哪些并行策略？
参考回答：
在训练M6模型时，EPL采用了数据并行+专家并行的混合并行策略。具体来说，MoE layer采用专家并行来降低算力需求，而其他layer则采用数据并行来提升训练的并发度。
关于本问题的更多问答可点击原文查看：
https://developer.aliyun.com/ask/675003
问题五：如何在EPL中为M6模型配置混合并行策略？
如何在EPL中为M6模型配置混合并行策略？
参考回答：
在EPL中为M6模型配置混合并行策略非常简单，只需要在模型代码中增加几行annotation（注释）来配置并行策略即可，无需对模型本身做任何修改。例如，可以通过特定的annotation来指定哪些层使用数据并行，哪些层使用专家并行。
关于本问题的更多问答可点击原文查看：
