AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

MGeo模型推理速度怎么提升？

基于Mgeo训练了分类模型：
基础模型：mgeo_backbone_chinese_base
分类数量：27W
模型训练完成后的大小：1.2G左右
GPU：A800
推理性能：单个请求响应在238ms左右

诉求：希望支持能够转换mgeo模型为onnx，或者有没有其他方式提升模型推理速度

展开
收起
ht896632 2024-06-20 16:33:51 135 分享 版权
0 条回答
写回答
取消 提交回答
相关问答
机器学习PAI还是不可以，但是换错误了，这个float是哪里来的？
55
1
0
请问机器学习PAI的Alink可以加载预训练好的pytorch模型嘛？
165
4
0
机器学习PAI在ODPS的PAI运行easy_rec，如何指定python版本为python3?
119
3
0
机器学习PAI这个最新的镜像不能使用吗？
67
1
0
请问机器学习PAI的easyrec的predict任务为什么不支持lifecycle参数呀？
100
2
0
机器学习PAI easy_rec在dlc训练model_dir能设置为oss地址吗?
119
1
0
机器学习PAI这两个的区别是什么啊？另外-Dtables 的 顺序是怎样的啊？
77
1
0
机器学习PAI这个流程 我在执行到 ar -这个文件 这是什么原因呢？
119
2
0
机器学习PAI多目标模型eval的时候比较耗时，有什么办法吗？
160
5
0
机器学习PAI还是会在batch内根据batch中最长序列做mask?
131
4
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • GPU集群扩展：Ray Serve与Celery的技术选型与应用场景分析
  • 服务器核心组件：CPU 与 GPU 的核心区别、应用场景、协同工作
  • 2025阿里云GPU服务器租赁价格：1个月、1小时和一年收费标准
  • 迈向可编程观测：在GPU Kernel中构建类eBPF风格的性能探针
  • 阿里云gpu云服务器收费价格，热门实例简介和最新按量、1个月、1年收费标准参考

    • 热门讨论

    热门文章

  • modelscope-funasr这是服务端关闭了连接吗？
  • modelscope-funasr有说话人分离功能吗？
  • 在modelscope-funasr中找不到有效的 OpenPGP 数据，如何解决？
  • 自然语言处理大模型，对word文本格式检测
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr有没有docker镜像能支持角色分离的？
  • modelscope-funasr有没有开源的语音唤醒，自定义唤醒？
  • modelscope-funasr目前版本支持 实时多人对话语音识别吗？
  • modelscope-funasr的 hotwords 是什么意思？
    • 展开全部
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • Memobase：开源AI长期记忆系统，让AI真正记住每个用户的秘密武器
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • ImBD：复旦联合华南理工推出 AI 内容检测模型，快速辨别文本内容是否为 AI 生成
  • 自然语言生成代码一键搞定！Codex CLI：OpenAI开源终端AI编程助手，代码重构+测试全自动
  • KAG：增强 LLM 的专业能力！蚂蚁集团推出专业领域知识增强框架，支持逻辑推理和多跳问答
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
    • 展开全部
    还有其他疑问?
    咨询AI助理