AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

在ModelScope中，ms-agent本地部署之后，推理速度有点慢，能给点优化建议吗？

在ModelScope中，ms-agent本地部署之后，推理速度有点慢，能给点优化建议吗？

展开
收起
LLLA 2023-09-19 21:55:59 248 分享 版权
1 条回答
写回答
取消 提交回答
  • AAAOY

    qwen-7b agent一张A100就可以支持。可能是模型由于device_map的原因拆到了四张卡的原因反而变慢了，此外，可能是由于max_new_tokens设置为512，您改成256试试。此回答来自“魔搭ModelScope开发者联盟群 ①”

    2023-09-19 23:13:28
    赞同 展开评论
相关问答
ModelScope如何用英特尔显卡进行推理，目前pytorch已经支持，求大神帮帮忙。
122
1
0
modelscope-funasr从0开始部署并运行C++版本的服务端的详细步骤。
729
3
0
modelscope-funasr部署完没有任何返回结果是为什么？
102
0
0
docker部署modelscope-funasr如何识别不同人说话？
308
0
0
modelscope-funasr本地部署 上传视频后点击asr 就出现错误 ，为什么？
114
1
0
ModelScope的swift ui界面上没得选择吧？要自己本地部署才行吧？
101
1
0
请问ModelScope的swift部署本地模型有文章推荐吗？
82
0
0
ModelScope中，想在本地的RAG上面搭建agent，有什么教程链接吗？
116
1
0
ModelScope中，agent发布方式怎么更换py3.10 有没有手册参考一下？
87
1
0
ModelScope中，把推理脚本改成这样了，报下面的错，怎么解决？
83
1
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • 【PDF提取内容改名】批量提取PDF指定区域内容重命名PDF文件，PDF自动提取内容命名的方案和详细步骤
  • 【繁体图片文字识别】竖排的繁体图片文字识别翻译，竖排的繁体图片文字如何识别，竖排繁体图片识别后转横排，竖排的繁体识别比较友好的方法
  • Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现裂缝的检测识别（C#代码UI界面版）
  • 腾讯混元最新开源：一张图，秒变游戏大片
  • OBS美颜美肌插件安装使用教程

    • 热门讨论

    热门文章

  • cpu部署报错 Torch not compiled with CUDA enabled
  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 如何下载modelscope模型？
  • com/action/joingroup?code=v1是什么意思
  • ModelScope下载速度慢怎么解决？
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
  • 在ModelScope中，下载模型时的ssl问题怎么解决？!
  • 在ModelScope中，请问模型下载到本地的具体方法？
  • modelscope cache 环境变量是啥？
    • 展开全部
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • LHM：单图生成3D动画人！阿里开源建模核弹，高斯点云重构服装纹理
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • InvSR：开源图像超分辨率生成模型，提升分辨率，修复老旧照片为超清图像
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • JoyCaption：开源的图像转提示词生成工具，支持多种风格和场景，性能与 GPT4o 相当
  • 腾讯混元最新开源：一张图，秒变游戏大片
  • PSHuman：开源单图像3D人像重建技术，一张照片就能生成3D人像模型
    • 展开全部
    还有其他疑问?
    咨询AI助理