开发者社区 问答 正文

FewCLUE中采用混合精度训练的好处主要有哪些?

FewCLUE中采用混合精度训练的好处主要有哪些?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 18:06:52 494 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • 1、减少显存占用,由于FP16的内存占用只有FP32的一半,自然地就可以帮助训练过程节省一半的显存空间。 2、加快训练和推断的计算,FP16除了能节约内存,还能同时节省模型的训练时间。具体原理如下图所示,核心是在反向传播参数更新的时候需要维护一个FP32的备份来避免舍入误差,另外会通过Loss Scaling来缓解溢出错误。

    2022-05-08 18:57:19
    赞同 展开评论
问答地址: