机器学习PAI我想问一下，你们预期的qwen-7B模型，部署eas上加速推理后，RT最好能达到多少？
机器学习PAI中vllm换成默认版本0.3.0，加上两条参数后可以正常调通了。
我想问一下，你们预期的qwen-7B模型，部署eas上加速推理后，RT最好能达到多少？
展开
收起
1
条回答
写回答
写回答
-
vllm主要的优势还是吞吐，而且卡型不同请求内容不同，RT时间也不太一样，可以参考下官方给的数据。 ，此回答整理自钉群“机器学习PAI交流群(答疑@值班)”
2024-03-11 16:47:33赞同 展开评论 打赏
问答分类：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
如何高效的往交互建模（dsw）上传较大的文件，有从阿里云盘中直接下载或类似的方法吗？
2897
小白想问一下nas上面的模型怎么通过pai-eas进行使用
1023
机器学习PAI5000CU*H是多少小时？
281
请教一下机器学习PAI 这个镜像部署之后，进入docker会报错?!
31
请问机器学习PAI DSW如何更换显卡驱动？
23
通义灵码 idea版本的代码提示如何设置？
102
机器学习PAI在mind调参那里，建议item塔不加bn，但是item不加bn，会导致item_em
28
dsw实例无法启动，卡在准备环境很久，然后显示以失败，求救
742
为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
156
机器学习PAI有没有其他方式可以跳过开公网这个步骤？
26
展开全部
【玩转数据系列九】机器学习为您解密雾霾形成原因
48683
【玩转数据系列十】利用阿里云机器学习在深度学习框架下实现智能图片分类
47926
【玩转数据系列六】文本分析算法实现新闻自动分类
18483
机器学习PAI全新功效——实时新闻热点Online Learning实践
13104
基于协同过滤算法的推荐
9733
【教程】5分钟在PAI算法市场发布自定义算法
9923
PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
6816
【文本分析】新闻分类
5191
【数据科学老司机在线教学第二期】阿里云大数据生态协同过滤推荐系统实战
5195
PAI深度学习Tensorflow框架多机多卡多PS Server使用说明
5389
展开全部
