ModelScope中测试了 网上的safetensors， 不行。还有什么办法么？
ModelScope中，codefuse for tensorrt-llm测试了 网上的safetensors， 不行。官方能不能支持一下，转格式不行https://zhuanlan.zhihu.com/p/663029110gptq int4 tensorrt-llm buildmodelsope里有autogptq的int4 但是无法build
展开
收起
2
条回答
写回答
写回答
-
对于TensorRT-LLM模型，我们需要先将其转换为TensorFlow SavedModel格式，然后再使用ModelScope进行部署。目前，ModelScope还不支持直接导入TensorRT模型。
关于你提到的"codefuse for tensorrt-llm"，我理解你可能在使用TensorFlow的Codefuse工具来转换TensorRT模型。然而，Codefuse目前只支持部分TensorFlow模型，对于TensorRT-LLM模型可能并不适用。
对于GPT-Q INT4模型，我们可以使用TensorFlow的SavedModel工具来将其转换为SavedModel格式。然后，你可以将这个SavedModel文件上传到ModelScope，并使用我们的自动部署工具进行部署。
2023-11-29 10:57:59赞同 展开评论 打赏 -
codefuse是我们的一款代码大模型产品，一些功能的推理用的是trtllm int4，如果您要测试trtllm int4的性能，可以去调用的，这个是主页地址：
https://codefuse.alipay.com
——此回答整理自钉群：魔搭ModelScope开发者联盟群 ①2023-11-22 21:33:05赞同 展开评论 打赏
相关问答
热门讨论
热门文章
com/action/joingroup?code=v1是什么意思
7195
ModelScope中，模型下载默认路径在哪个路径？
9684
我希望通过damo-YOLO训练1500*1500的图片
8673
服务器上onnxruntime-gpu 调用结束，如何释放显存
5236
请问在 ModelScope 上的模型断网使用报这个错误啥原因了?
2227
ModelScope中我尝试使用这个模型搭建了一个推理服务，然后报错了怎么办？
3486
ModelScope中，大佬们4卡跑lora时，遇到这样的错，怎么解决？
1956
ModelScope有没有人知道windows安装ttsfrd的方法或者ttsfrd源码？
836
streamlit 生成链接无法访问，gradio只生成内网，无法生成公网
2669
在ModelScope中，请问模型下载到本地的具体方法？
1583
展开全部
