AI 助理
备案控制台
开发者社区 问答 正文

相比传统的PS训练范式，HybridBackend的系统设计有哪些不同？

相比传统的PS训练范式，HybridBackend的系统设计有哪些不同？

展开
收起
不吃核桃 2024-08-07 18:17:09 74 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 格格的阿里云

    相比传统的PS训练范式，HybridBackend的系统设计只保留统一的训练执行单元(Executor)，每个Executor通过内部的异构硬件资源来执行不同的训练任务角色。这种设计有效地利用了底层硬件资源之间的locality加速训练，并且可以同时满足不同的分布式训练范式所需要的硬件资源，方便在模型结构的不同部分进行混合并行训练策略。

    2024-08-07 20:18:35
    赞同 1 展开评论
问答标签：
ps训练
问答地址：
开发者社区 > 云计算 > 问答
相关问答
机器学习PAI用PS-Worker模式进行分布式训练？
62
1
0
机器学习PAI Ps训练出的模型，启动的时候需要在读取参数服务器配置么？
106
1
0
问一个关于机器学习API的问题，对于ps-worker模式，worker是同步训练还是异步训练呢？
441
2
0
ps命令在故障排查中有什么用途？
95
1
0
函数计算，我登录函数的实例上，terminal下面怎么连基础的ps，top命令都没有？
67
1
0
你好，请教下我ACR里这个镜像运行起来是不是不带一些基础的命令的比如,top ps等
138
1
0
在容器环境中，图像可能没有“ps”命令（如amazoncorretto图像），因此我无法使用“bla
135
1
0
ps 命令的作用是什么？
629
1
0
export PS1 = ”$LOGNAME@hostname:\$PWD: 这条命令是什么意思？
707
1
0
ps命令的五种状态分别是什么？
494
1
0