为什么采用数据并行+专家并行的混合并行策略来训练M6模型？
为什么采用数据并行+专家并行的混合并行策略来训练M6模型：MoE layer采用专家并行，其他layer采用数据并行？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
训练一个万亿/10万亿参数模型，算力需求非常大。为了降低算力需求，EPL中实现了MoE(Mixture-of-Experts)结构，MoE的主要特点是稀疏激活，使用Gating(Router)来为输入选择Top-k的expert进行计算（k常用取值1、2），从而大大减少算力需求。EPL支持专家并行(Expert Parallelism, EP)，将experts拆分到多个devices上，降低单个device的显存和算力需求。同时，数据并行有利于提升训练的并发度。
2022-04-20 13:26:44赞同 展开评论
相关问答
