AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？

modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？ 例外fastllm怎么在win11下编译呢？

展开
收起
闲o月 2023-12-18 13:49:49 97 分享 版权
1 条回答
写回答
取消 提交回答
  • 三颗橙子

    qwen可以用flash attention，modelscope1.10镜像中有vllm，也有开发者用过tensorrt 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-12-18 22:00:08
    赞同 展开评论
相关问答
modelscope-funasr的GPU离线转写服务的说话人识别模块要怎么配置啊？
100
0
0
在modelscope-funasr找不到指定模块，fbgemm.dll怎么都解决不了，怎么办？
93
1
0
modelscope-funasr使用离线这个推理示例音频的时候，报了错误，是为什么？
61
1
0
在modelscope-funasr中推理的输出结果准确率要比直接推理的低，是参数有问题吗？
53
1
0
ModelScope中，把推理脚本改成这样了，报下面的错，怎么解决？
55
1
0
请问下ModelScope模型支持批量推理吗（StructBERT零样本分类-中文-base）？
48
1
0
请问下，ModelScope有没有批量处理的推理的？
22
1
0
ModelScope推理时，--max_new_tokens和--max_length有什么区别？
249
1
0
在modelscope-funasr我已经安装了模块，还是报错模块没有安装 是什么原因？
77
1
0
modelscope-funasr的ITN 需要安装什么模块？
47
0
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • Migician：清北华科联手放大招！多图像定位大模型问世：3秒锁定跨画面目标，安防监控迎来AI革命！
  • 【PDF提取全自动改名】如何批量提取PDF指定区域的文字内容，用内容批量给PDF命名或者导出表格，学会全自动解放双手
  • 【全自动改PDF名】批量OCR识别提取PDF自定义指定区域内容保存到 Excel 以及根据PDF文件内容的标题来批量重命名
  • FacePoke：开源AI实时面部编辑神器！拖拽调整表情/头部朝向，4K画质一键生成
  • VideoGrain：零样本多粒度视频编辑神器，用AI完成换装改场景，精准控制每一帧！

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • ModelScope下载速度慢怎么解决？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • com/action/joingroup?code=v1是什么意思
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
  • modelscope cache 环境变量是啥？
  • 我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
  • 如何下载modelscope模型？
  • ModelScope中，本地部署魔搭镜像，怎么下载？有点看不懂
  • 服务器上onnxruntime-gpu 调用结束，如何释放显存
    • 展开全部
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • Step-Video-T2V：碾压Sora？国产开源巨兽Step-Video-T2V杀到：300亿参数一键生成204帧视频
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • SkyReels-V1：短剧AI革命来了！昆仑开源视频生成AI秒出影视级短剧，比Sora更懂表演！
  • AnchorCrafter：中科院联合腾讯推出的AI虚拟主播带货视频制作技术
  • VISION XL：支持四倍超分辨率的 AI 视频修复处理工具，提供去除模糊、修复缺失等功能
  • BEN2：一键快速抠图！自动移除图像和视频中的背景，支持在线使用
  • Migician：清北华科联手放大招！多图像定位大模型问世：3秒锁定跨画面目标，安防监控迎来AI革命！
  • Cobalt：开源的流媒体下载工具，支持解析和下载全平台的视频、音频和图片，支持多种视频质量和格式，自动提取视频字幕
    • 展开全部
    还有其他疑问?
    咨询AI助理