开发者社区> 问答> 正文

EasyTexMiner的分布式训练融合了哪些核心技术?

EasyTexMiner的分布式训练融合了哪些核心技术?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 18:07:22 331 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 1、激活检查点(Activation Checkpoint) 2、梯度累积 (Gradient Accumulation) 3、混合精度训练(Mixed Precision Training) 4、即时编译JIT 5、3D并行 6、CPU Offload 7、Zero显存优化器

    2022-05-08 18:57:19
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
基于社区的分布式 风险感知模型 立即下载
如何利用Redisson分布式化传统Web项目 立即下载
FLASH:大规模分布式图计算引擎及应用 立即下载