AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

MGeo模型推理速度怎么提升？

基于Mgeo训练了分类模型：
基础模型：mgeo_backbone_chinese_base
分类数量：27W
模型训练完成后的大小：1.2G左右
GPU：A800
推理性能：单个请求响应在238ms左右

诉求：希望支持能够转换mgeo模型为onnx，或者有没有其他方式提升模型推理速度

展开
收起
ht896632 2024-06-20 16:33:51 130 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
机器学习PAI你们有试过把resnet也放到张量切分里面吗？我自己尝试的时候发现里面的卷积算子某一层
105
1
0
请问机器学习PAI按照github上的步骤执行setup为啥报一堆错呀？
90
2
0
机器学习PAI中pai-dsw导入第三方包，是在Terminal导入吗？
145
3
0
机器学习PAI中Alink支持 python3.10了吗？
99
1
0
机器学习PAI图里的现价是什么意思呀，收费？
102
1
0
机器学习PAI如果这个表在ODPS中的话input_path该怎么写？
96
3
0
机器学习PAI这个结果怎么不对？我就屏蔽了测试一下，然后发现结果好像不对再就是把label那一列删了
86
1
0
机器学习PAI deeprec star_server是异步训练方式 同步训练需要怎么设置?
112
1
0
如图，使用机器学习PAI的Ftrl在线学习，如果模型是离线+在线更新，在线部分怎么获取到更新？
121
2
0
问一下机器学习PAI，easyrec 的raw feature，如何进行normalize？
136
2
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • MXFP4量化：如何在80GB GPU上运行1200亿参数的GPT-OSS模型
  • 阿里云GPU云服务器简介：优势场景价详解，最新收费标准与活动价格参考
  • 阿里云GPU云服务器深度评测：算力怪兽如何重塑AI与图形处理的未来？
  • 从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？
  • GPU云存储性能：加速AI与高性能计算的关键

    • 热门讨论

    热门文章

  • modelscope-funasr 热词如何设置？
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr目前版本支持 实时多人对话语音识别吗？
  • modelscope-funasr有说话人分离功能吗？
  • 自然语言处理大模型，对word文本格式检测
  • modelscope-funasr类似这些日志，应该怎么设置才能不打印呀？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • modelscope-funasr基于paraformer微调了粤语试了下，效果不太理想。怎么调整？
    • 展开全部
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • Yuxi-Know：开源智能问答系统，基于大模型RAG与知识图谱技术快速构建知识库
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • ACL 2025 | GALLa：用图结构增强代码大模型，让代码理解更精准！
  • 全球首款开源通用型AI智能体上线！Suna：自动处理Excel/爬数据/写报告等复杂任务一句话搞定
  • 让AI单次生成4万字！WriteHERE：开源AI长文写作框架，单次生成超长文本，小说报告一键搞定！
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
    • 展开全部
    还有其他疑问?
    咨询AI助理