开发者社区> 问答> 正文

StarServer(异步训练框架)进行了什么优化?

StarServer(异步训练框架)进行了什么优化?

展开
收起
岩茶芋泥 2022-04-19 10:49:17 449 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • StarServer进行了包括图、线程调度、执行引擎以及内存等优化,将原有框架中的send/recv语义修改为pull/push语义,并且在子图划分上支持了该语义,同时实现了ParameterServer端图执行过程中的lockfree,实现了无锁化的执行,大大提高了并发执行子图的效率。对比原生框架,能够提升数倍的训练性能,并且支持3000worker规模的线性分布式扩展。

    2022-04-19 16:16:17
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
PAI-ChatLearn 灵活易用大规模RLHF高训练框架 立即下载
分布式流处理框架——功能对比和性能评估 立即下载
典型模型-卷积神经网络入门 从概念原理到应用实现 立即下载