modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？
modelscope有哪些推理加速模块呢，fastLLM之外还有哪些呢？ 例外fastllm怎么在win11下编译呢？
展开
收起
1
条回答
写回答
写回答
-
qwen可以用flash attention，modelscope1.10镜像中有vllm，也有开发者用过tensorrt 此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”
2023-12-18 22:00:08赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
3496
ModelScope中，模型下载默认路径在哪个路径？
2638
我希望通过damo-YOLO训练1500*1500的图片
6950
服务器上onnxruntime-gpu 调用结束，如何释放显存
3221
Modelscope魔塔的创空间的文件怎么下载到本地呀？
3165
ModelScope中，请问Qwen-14B-Chat-Int4运行最少需要多少内存？
1248
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
1649
ModelScope 使用14B模型推理时报这个错误？
861
请问modelscope中，有一个依赖，kantts，要怎么安装？
1339
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
941
展开全部
