ZeRO具有三个主要的优化阶段分别是？
ZeRO具有三个主要的优化阶段分别是？
展开
收起
来自：
阿里技术
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
1、优化器状态分区(Pos) ：减少了4倍的内存，通信容量与数据并行性相同； 2、增加梯度分区(Pos+g) ：8x内存减少，通信容量与数据并行性相同； 3、增加参数分区(Pos+g+p) ：内存减少与数据并行度和复杂度成线性关系。
2022-05-08 18:57:29赞同 展开评论
相关问答
