问题一:深度学习编译器的性能优化面临哪些挑战?
深度学习编译器的性能优化面临哪些挑战?
参考回答:
深度学习编译器的性能优化面临多重挑战。首先,如何将人工的优化方法或难以人工探究的优化方法通过泛化性的沉淀和抽象,以有限的编译开销替代手工优化的人力成本是一个关键问题。其次,深度学习任务涉及tensor级别的计算,对并行任务的拆分方式有很高要求,如何有效拆分并优化这些任务是一大挑战。最后,分层优化时如何避免编译开销爆炸以及不同层级之间优化的联动,也是亟待解决的问题。这些问题都需要深入探索和挖掘,以充分发挥深度学习编译器的价值。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674484
问题二:BladeDISC项目最初是为了解决什么问题而启动的?
BladeDISC项目最初是为了解决什么问题而启动的?
参考回答:
BladeDISC项目最初是为了解决XLA和TVM等当前版本深度学习编译器的静态shape限制问题而启动的,旨在打造一款能够在实际业务中使用的、完备支持动态shape语义的深度学习编译器。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674486
问题三:静态shape编译器的优势有哪些?
静态shape编译器的优势有哪些?
参考回答:
静态shape编译器的优势包括在编译期完全已知静态shape信息的情况下,能够作出更好的优化决策并得到更好的CodeGen性能,同时也能得到更好的显存/内存优化plan和调度执行plan。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674490
问题四:静态shape编译器的缺点是什么?
静态shape编译器的缺点是什么?
参考回答:
静态shape编译器的缺点包括大幅增加编译开销、部分业务场景shape变化范围趋于无穷导致编译缓存无法收敛、内存显存占用的增加以及人工padding为静态shape等缓解性方案对用户不友好,大幅降低应用的通用性和透明性,影响迭代效率。
关于本问题的更多问答可点击原文查看:
https://developer.aliyun.com/ask/674491
问题五:BladeDISC在哪些业务场景上得到了应用并获得了预期效果?
BladeDISC在哪些业务场景上得到了应用并获得了预期效果?
参考回答:
BladeDISC在阿里内部几个受困于动态shape问题已久的业务场景上得到了应用,并获得了预期效果。它能够在一次编译且不需要用户对计算图做特殊处理的情况下,完备支持动态shape语义,且性能几乎与静态shape编译器持平。
关于本问题的更多问答可点击原文查看: