机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？
请教一下，机器学习PAI现在有个模型用blade跟trt比，gpu利用率会高20%左右，这个一般怎么分析一下？nsys可以看到有些matmul的kernel选择跟trt是不同的
展开
收起
2
条回答
写回答
写回答
-
坚持这件事孤独又漫长。可以考虑以下几点：
-
计算密集型操作的优化：通过对matmul等计算密集型操作进行优化，可以提高GPU计算利用率，从而加速模型推理。
-
算法选择的优化：通过使用更优秀的算法，可以减少GPU计算资源的浪费，从而提高GPU利用率。
-
并行计算的优化：通过使用并行计算的方式，可以充分利用GPU的多个计算核心，从而提高计算效率和GPU利用率。
在以上基础上，可以根据NSys的分析结果，进一步了解每个kernel的选择和执行情况，从而进行更深入的分析和优化。
2023-04-10 14:49:01赞同 展开评论 打赏 -
-
问答分类：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
热门讨论
热门文章
AI生成海报or人工手绘，哪个更戳你？
870
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
1834
为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
993
在api调用夸克搜索时，遇到权限不足问题
360
机器学习PAI英伟达这个v100和4090哪个强？做comfyui生视频用
198
为什么我的DSW，文件区没有显示我的notebook内容，也没有显示我的天池文档等部分
485
机器学习PAI有没有类似colab这种免费的在线Notebook代码编辑运行环境啊？
453
无法从浏览器的剪贴板中读取。请确保你已授予此网站从剪贴板中读取的访问权限。
58
alink任务本地正常运行，发布到flink集群后报错
21
机器学习PAI我训练的AUC 0.7左右，这个效果是不是很差了？
397
展开全部
【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
49606
【玩转数据系列十五】机器学习PAI为你自动写歌词，妈妈再也不用担心我的freestyle了（提供数据、代码）
20739
阿里巴巴机器学习系列课程
15820
【教程】5分钟在PAI算法市场发布自定义算法
10351
云端深度学习框架TensorFlow读取数据IO的高效方式
7427
PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
6954
基于深度学习模型Wide&Deep的推荐
7165
推荐系统之冷启动问题
5730
PAI智能答疑机器人上线啦
3311
CTR中的GBDT与LR算法融合
2499
展开全部
