MGeo模型推理速度怎么提升?

基于Mgeo训练了分类模型:
基础模型:mgeo_backbone_chinese_base
分类数量:27W
模型训练完成后的大小:1.2G左右
GPU:A800
推理性能:单个请求响应在238ms左右

诉求:希望支持能够转换mgeo模型为onnx,或者有没有其他方式提升模型推理速度

展开
收起
ht896632 2024-06-20 16:33:51 135 分享 版权
0 条回答
写回答
取消 提交回答

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

热门讨论

热门文章

还有其他疑问?
咨询AI助理