机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？

可以考虑以下几点：

• 计算密集型操作的优化：通过对matmul等计算密集型操作进行优化，可以提高GPU计算利用率，从而加速模型推理。

• 算法选择的优化：通过使用更优秀的算法，可以减少GPU计算资源的浪费，从而提高GPU利用率。

• 并行计算的优化：通过使用并行计算的方式，可以充分利用GPU的多个计算核心，从而提高计算效率和GPU利用率。

在以上基础上，可以根据NSys的分析结果，进一步了解每个kernel的选择和执行情况，从而进行更深入的分析和优化。

这个把batch size从1024改成512之后，gpu利用率降下来了，此回答整理自钉群“BladeDISC用户支持群”