对于MGeo模型在ModelScope中是否有加速推理的onnx导出版,目前的资料并没有明确提供。您可以尝试使用ONNX Runtime来进行模型推理,这有可能帮助提升模型的运行速度。此外,如果遇到推理速度慢的问题,一种可能的解决方法是把模型下载到本地后做量化处理,再使用ModelScope的pipeline进行推理。
ONNX Runtime是一个支持ONNX格式的推理引擎,它被广泛用于加载模型文件,加速模型推理预测,并且提供多平台,多语言支持。因此,理论上MGeo模型如果有ONNX格式的导出版本,应该可以使用ONNX Runtime进行加速推理。但是目前没有确切的信息表明MGeo模型是否有ONNX格式的导出版本。
支持导出ONNX的ModelScope模型表中没有mgeo,https://modelscope.cn/docs/%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%AF%BC%E5%87%BA 。模型卡片上有另一个群号,您也可以咨询一下哈,https://modelscope.cn/models/damo/mgeo_backbone_chinese_base/summary 。此回答整理自钉钉群:魔搭ModelScope开发者联盟群 ①