AI 助理
备案控制台
开发者社区 问答 正文

在GPU集群上，HybridBackend如何实现训练的同步性？

在GPU集群上，HybridBackend如何实现训练的同步性？

展开
收起
不吃核桃 2024-08-07 18:17:13 75 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 格格的阿里云

    HybridBackend在GPU集群上通过同步训练的方式保持训练的同步性。它使用高性能集合通信算子库（如NVIDIA NCCL或阿里自研的ACCL）来有效利用硬件机器的网络拓扑结构，从而提升通信性能，避免过期梯度问题，提升模型训练的精度。

    2024-08-07 20:18:34
    赞同 4 展开评论
问答分类：
异构计算 GPU云服务器
问答标签：
GPU云服务器训练 GPU云服务器集群训练 GPU云服务器集群 GPU云服务器同步
问答地址：
开发者社区 > 云计算 > 问答
相关问答
modelscope中，1.5-7b训练得多大的gpu ？
89
1
0
在pai-DSW的notebook中如何使用GPU为深度学习的训练加速？
297
3
0
多GPU的训练在modelscope-funasr哪个版本有解决了？
74
1
0
modelscope-funasr重构的框架，关于多GPU并发训练这一块可行了吗？
374
2
0
ModelScope如何评估模型训练所需要的gpu资源？
108
1
0
在ModelScope中，GPU 跑一个文本分类训练的demo 需要这么久么
163
3
0
请问机器学习PAI Alink支持使用GPU进行模型训练吗？
178
4
0
ModelScope中，这里是使用多张gpu进行训练，如果想要cpu要怎么进训练？
287
3
0
modelscope-funasr最新的gpu高吞吐服务用的模型和原来cpu的参数量是一样的么？
160
0
0
modelscope用哪个脚本有新的报错是关于数据没有放在gpu上的？
90
1
0