BladeDISC 深度学习编译器问题之XLA和TVM等问题如何解决

简介: BladeDISC 深度学习编译器问题之XLA和TVM等问题如何解决

问题一:深度学习编译器的性能优化面临哪些挑战?


深度学习编译器的性能优化面临哪些挑战?


参考回答:

深度学习编译器的性能优化面临多重挑战。首先,如何将人工的优化方法或难以人工探究的优化方法通过泛化性的沉淀和抽象,以有限的编译开销替代手工优化的人力成本是一个关键问题。其次,深度学习任务涉及tensor级别的计算,对并行任务的拆分方式有很高要求,如何有效拆分并优化这些任务是一大挑战。最后,分层优化时如何避免编译开销爆炸以及不同层级之间优化的联动,也是亟待解决的问题。这些问题都需要深入探索和挖掘,以充分发挥深度学习编译器的价值。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/674484



问题二:BladeDISC项目最初是为了解决什么问题而启动的?


BladeDISC项目最初是为了解决什么问题而启动的?


参考回答:

BladeDISC项目最初是为了解决XLA和TVM等当前版本深度学习编译器的静态shape限制问题而启动的,旨在打造一款能够在实际业务中使用的、完备支持动态shape语义的深度学习编译器。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/674486



问题三:静态shape编译器的优势有哪些?


静态shape编译器的优势有哪些?


参考回答:

静态shape编译器的优势包括在编译期完全已知静态shape信息的情况下,能够作出更好的优化决策并得到更好的CodeGen性能,同时也能得到更好的显存/内存优化plan和调度执行plan。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/674490



问题四:静态shape编译器的缺点是什么?


静态shape编译器的缺点是什么?


参考回答:

静态shape编译器的缺点包括大幅增加编译开销、部分业务场景shape变化范围趋于无穷导致编译缓存无法收敛、内存显存占用的增加以及人工padding为静态shape等缓解性方案对用户不友好,大幅降低应用的通用性和透明性,影响迭代效率。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/674491



问题五:BladeDISC在哪些业务场景上得到了应用并获得了预期效果?


BladeDISC在哪些业务场景上得到了应用并获得了预期效果?


参考回答:

BladeDISC在阿里内部几个受困于动态shape问题已久的业务场景上得到了应用,并获得了预期效果。它能够在一次编译且不需要用户对计算图做特殊处理的情况下,完备支持动态shape语义,且性能几乎与静态shape编译器持平。


关于本问题的更多问答可点击原文查看:

https://developer.aliyun.com/ask/674492

相关文章
|
1月前
|
机器学习/深度学习 算法 编译器
Python程序到计算图一键转化,详解清华开源深度学习编译器MagPy
【10月更文挑战第26天】MagPy是一款由清华大学研发的开源深度学习编译器,可将Python程序一键转化为计算图,简化模型构建和优化过程。它支持多种深度学习框架,具备自动化、灵活性、优化性能好和易于扩展等特点,适用于模型构建、迁移、部署及教学研究。尽管MagPy具有诸多优势,但在算子支持、优化策略等方面仍面临挑战。
85 3
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之BladeDISC在新硬件支持方面如何解决
BladeDISC 深度学习编译器问题之BladeDISC在新硬件支持方面如何解决
|
4月前
|
机器学习/深度学习 编译器 调度
BladeDISC 深度学习编译器问题之BladeDISC支持动态shape语义如何解决
BladeDISC 深度学习编译器问题之BladeDISC支持动态shape语义如何解决
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之动态shape问题如何解决
BladeDISC 深度学习编译器问题之动态shape问题如何解决
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之实现硬件适配如何解决
BladeDISC 深度学习编译器问题之实现硬件适配如何解决
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之BladeDISC计划发布版本如何解决
BladeDISC 深度学习编译器问题之BladeDISC计划发布版本如何解决
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之在动态shape下优化整体性能如何解决
BladeDISC 深度学习编译器问题之在动态shape下优化整体性能如何解决
|
4月前
|
机器学习/深度学习 人工智能 前端开发
BladeDISC 深度学习编译器问题之深度学习编译器的定义如何解决
BladeDISC 深度学习编译器问题之深度学习编译器的定义如何解决
|
机器学习/深度学习 人工智能 编译器
预约直播 | 深度学习编译器技术趋势与阿里云BladeDISC的编译器实践
阿里云AI技术分享会第二期《深度学习编译器技术趋势与阿里云BladeDISC的编译器实践》将在2022年08月17日晚18:00-18:30直播,精彩不容错过!
|
机器学习/深度学习 人工智能 前端开发
阿里 BladeDISC 深度学习编译器正式开源
随着深度学习的不断发展,AI模型结构在快速演化,底层计算硬件技术更是层出不穷,对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将算力发挥出来,还要应对计算框架的持续迭代。深度编译器就成了应对以上问题广受关注的技术方向,让用户仅需专注于上层模型开发,降低手工优化性能的人力开发成本,进一步压榨硬件性能空间。阿里云机器学习PAI开源了业内较早投入实际业务应用的动态shape深度学习编译器 BladeDISC,本文将详解 BladeDISC的设计原理和应用。
阿里 BladeDISC 深度学习编译器正式开源