AI 助理
备案控制台
开发者社区 ModelScope模型即服务 计算机视觉 正文

modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？

modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？ 例外fastllm怎么在win11下编译呢？

展开
收起
闲o月 2023-12-18 13:49:49 101 分享 版权
1 条回答
写回答
取消 提交回答
  • 三颗橙子

    qwen可以用flash attention，modelscope1.10镜像中有vllm，也有开发者用过tensorrt 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”

    2023-12-18 22:00:08
    赞同 展开评论
相关问答
modelscope-funasr的GPU离线转写服务的说话人识别模块要怎么配置啊？
104
0
0
在modelscope-funasr找不到指定模块，fbgemm.dll怎么都解决不了，怎么办？
98
1
0
ModelScope中，把推理脚本改成这样了，报下面的错，怎么解决？
57
1
0
请问下ModelScope模型支持批量推理吗（StructBERT零样本分类-中文-base）？
54
1
0
请问下，ModelScope有没有批量处理的推理的？
25
1
0
ModelScope推理时，--max_new_tokens和--max_length有什么区别？
263
1
0
在modelscope-funasr我已经安装了模块，还是报错模块没有安装 是什么原因？
80
1
0
modelscope-funasr的ITN 需要安装什么模块？
48
0
0
用swift推理训练后的ModelScope模型，参数里model stype是不是就不需要？
67
1
0
modelscope-funasr的LLM智能裁剪与LLM推理的文本内容不一致这种怎么解决？
58
1
0
ModelScope模型即服务

计算机视觉

包含图像分类、图像生成、人体人脸识别、动作识别、目标分割、视频生成、卡通画、视觉评价、三维视觉等多个领域

我要提问

相关文章

  • AVD2：清华联合复旦等机构推出的自动驾驶事故视频理解与生成框架
  • IMAGPose：南理工突破性人体生成框架！多姿态适配+细节语义融合，刷新图像生成范式
  • VideoPainter：开源视频修复神器！双分支架构一键修复，对象身份永久在线
  • TrajectoryCrafter：腾讯黑科技！单目视频运镜自由重构，4D生成效果媲美实拍
  • LanPaint：零训练消除AI图像违和感！与ComfyUI完美兼容的无损修复神器

    • 热门讨论

    热门文章

  • ModelScope中，模型下载默认路径在哪个路径？
  • 我希望通过damo-YOLO训练1500*1500的图片
  • 我想使用 Modelscope 自己下载下来的本地模型，不知道怎么操作？
  • ModelScope下载速度慢怎么解决？
  • com/action/joingroup?code=v1是什么意思
  • modelscope cache 环境变量是啥？
  • ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
  • 关于魔塔社区里面有UI-TARS模型一件部署在阿里云的几个相关问题
  • 请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
  • Modelscope魔塔的创空间的文件怎么下载到本地呀？
    • 展开全部
  • EchoMimicV2：阿里推出的开源数字人项目，能生成完整数字人半身动画
  • Qwen2.5-VL：阿里通义千问最新开源视觉语言模型，能够理解超过1小时的长视频
  • video-analyzer：开源视频分析工具，支持提取视频关键帧、音频转录，自动生成视频详细描述
  • UI-TARS：字节跳动开源专注于多平台 GUI 自动化交互的视觉语言模型
  • JoyCaption：开源的图像转提示词生成工具，支持多种风格和场景，性能与 GPT4o 相当
  • VideoPainter：开源视频修复神器！双分支架构一键修复，对象身份永久在线
  • Step-Video-T2V：碾压Sora？国产开源巨兽Step-Video-T2V杀到：300亿参数一键生成204帧视频
  • X-AnyLabeling：开源的 AI 图像标注工具，支持多种标注样式，适于目标检测、图像分割等不同场景
  • STAR：南京大学联合字节开源视频超分辨率增强生成框架，视频清晰度一键提升，支持从低分辨率视频生成高分辨率视频
  • TrajectoryCrafter：腾讯黑科技！单目视频运镜自由重构，4D生成效果媲美实拍
    • 展开全部
    还有其他疑问?
    咨询AI助理