开发者社区 问答 正文

EasyTexMiner的分布式训练融合了哪些核心技术?

EasyTexMiner的分布式训练融合了哪些核心技术?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 18:07:22 359 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • 1、激活检查点(Activation Checkpoint) 2、梯度累积 (Gradient Accumulation) 3、混合精度训练(Mixed Precision Training) 4、即时编译JIT 5、3D并行 6、CPU Offload 7、Zero显存优化器

    2022-05-08 18:57:19
    赞同 展开评论