开发者社区> 问答> 正文

FewCLUE中采用混合精度训练的好处主要有哪些?

FewCLUE中采用混合精度训练的好处主要有哪些?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 18:06:52 440 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 1、减少显存占用,由于FP16的内存占用只有FP32的一半,自然地就可以帮助训练过程节省一半的显存空间。 2、加快训练和推断的计算,FP16除了能节约内存,还能同时节省模型的训练时间。具体原理如下图所示,核心是在反向传播参数更新的时候需要维护一个FP32的备份来避免舍入误差,另外会通过Loss Scaling来缓解溢出错误。

    2022-05-08 18:57:19
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
《DeepRec:大规模稀疏模型训练引擎》 立即下载
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载
大规模稀疏化模型技术介绍及实践 立即下载