机器学习PAI我想问一下，你们预期的qwen-7B模型，部署eas上加速推理后，RT最好能达到多少？
机器学习PAI中vllm换成默认版本0.3.0，加上两条参数后可以正常调通了。
我想问一下，你们预期的qwen-7B模型，部署eas上加速推理后，RT最好能达到多少？
展开
收起
1
条回答
写回答
写回答
-
vllm主要的优势还是吞吐，而且卡型不同请求内容不同，RT时间也不太一样，可以参考下官方给的数据。 ，此回答整理自钉群“机器学习PAI交流群(答疑@值班)”
2024-03-11 16:47:33赞同 展开评论 打赏
问答分类：
相关产品：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
人工智能平台 PAI（Platform for AI，原机器学习平台PAI）是面向开发者和企业的机器学习/深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务，内置140+种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生AI工程化能力。
热门讨论
热门文章
P人出游，你是否需要一个懂你更懂规划的AI导游呢？来搭建专属文旅问答机器人吧
7897
AI生成海报or人工手绘，哪个更戳你？
2445
为什么我的天池notebook中，无法创建notebook文件，也无法显示我的天池文档等内容。
1125
AUC 为何越训练越低？DSSM 中这个有用吗？只有user 和item 塔可以去掉这个么？
758
在api调用夸克搜索时，遇到权限不足问题
454
机器学习PAI有没有类似colab这种免费的在线Notebook代码编辑运行环境啊？
529
灵积平台上，用通义千问的开源大模型接口响应非常慢
292
无法类似openai 使用api(chatbox)
22
在运行cosyvoice的时候 找不到gradio
21
通义千问 HTTP请求多轮对话的方式是什么格式的，文档里的没法实现，需要帮助，谢谢
974
展开全部
【玩转数据系列十五】机器学习PAI为你自动写歌词，妈妈再也不用担心我的freestyle了（提供数据、代码）
20752
PAI实现的深度学习网络可视化编辑功能-FastNeuralNetwork
6963
【推荐算法】商品推荐_3041
1007
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
401
人工智能（AI）技术的发展史
1326
DistilQwen2：通义千问大模型的知识蒸馏实践
573
使用PAI+LLaMA Factory 微调 Qwen2-VL 模型，搭建文旅领域知识问答机器人
1353
视频生成框架EasyAnimate正式开源！
65433
如何从0部署一个大模型RAG应用
430
PAI EAS Flask应用部署Quick Start
55
展开全部
