开发者社区> 问答> 正文

如何理解分布式通信优化方法中的梯度压缩?

已解决

如何理解分布式通信优化方法中的梯度压缩?

展开
收起
阿阿里云 2022-04-06 21:56:29 976 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    将要传输的梯度从 FP32 压缩到 FP16,并建立了相应的数据缩放 机制,从而防止精度损失。

    《弹性计算:无处不在的算力》电子书可以通过以下链接下载:https://developer.aliyun.com/topic/download?id=7996"

    2022-04-06 23:32:23
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
基于社区的分布式 风险感知模型 立即下载
如何利用Redisson分布式化传统Web项目 立即下载
FLASH:大规模分布式图计算引擎及应用 立即下载