AI 助理
备案控制台
开发者社区 ModelScope模型即服务 自然语言处理 正文

NER模型使用pipeline方式进行模型推理速度太慢

NER模型使用pipeline方式进行模型推理速度太慢1条大概3S，不太适合进行线上部署，有没有什么解决办法？

展开
收起
caicaicaij 2023-03-08 16:59:51 694 分享 版权
2 条回答
写回答
取消 提交回答
  • 游客t4qzlg5d5btxi

    我猜你用的是CPU进行推理，我最开始用的CPU也是一条差不多4～5S，后来用的3060Ti，差不多5000条，30秒

    2023-04-12 16:16:32
    赞同 展开评论
  • pangdahs

    有几种解决方案可以尝试一下：

    1. 使用GPU进行模型推理
    2. 多条query以batch的方式批量处理（仅GPU下有性能提升）
    3. 使用小模型，部分NER模型有LSTM版本可以使用
    4. 将模型导出为onnx格式进行推理（1.4版本后支持）
    2023-03-22 17:23:38
    赞同 1 展开评论
相关问答
自然语言处理
机器学习PAI现在使用EAS在更新模型的时候，看起来服务是不可用的，有没有什么方法保持服务可用？
99
1
0
机器学习PAI训练完的容器已经关闭了，模型文件已经保存到oss， 这里不指定模型文件路径加载啥呢？
98
1
0
灵积的模型训练和百炼的模型调优有什么区别？
271
1
0
大模型服务平台百炼、DashScope灵积模型服务与PAI平台的主要应用场景有什么区别？
620
0
0
在机器学习PAI用特征模型 读取某个entity的所有特征失败， 这个join id不一致有关吗？
72
1
0
想基于机器学习PAI和maxcompute,hologres 构建实时推荐模型两个产品到底什么关系？
120
1
0
机器学习PAI模型export的时候，指定了这个多值类型，在EAS加载的时候报这个错，是什么原因呢？
65
1
0
机器学习PAI如果valid数据集量级太大严重影响评估效率和整体效率，这个有什么方法可以解呢？
119
1
0
机器学习PAI中EasyRec的代码风格有什么要求吗？
72
0
0
在机器学习PAI中，dssm模型训练保存成功了，在拆塔的时候报了个错是为什么？
90
1
0
ModelScope模型即服务

自然语言处理

包含命名实体识别、文本分类、分词、关系抽取、问答、推理、文本摘要、情感分析、机器翻译等多个领域

我要提问

相关文章

  • Java 大视界 -- Java 大数据机器学习模型在自然语言处理中的对抗训练与鲁棒性提升（205）
  • “日志别再只会翻了，教它自己说话”——聊聊用 NLP 玩转日志分析
  • 《10分钟开发电商页！CodeBuddy自然语言转代码实测：程序员效率革命》
  • Java 大视界 -- Java 大数据机器学习模型在自然语言生成中的可控性研究与应用（229）
  • 从“写SQL”到“聊数据”：NL2SQL如何用自然语言解锁数据库？

    • 热门讨论

    热门文章

  • modelscope-funasr 热词如何设置？
  • modelscope-funasr的python websocket怎么实现多用户并发啊？
  • 本地运行示例报错No module named 'deepspeed'
  • modelscope-funasr实时设别，mode:2pass 还是online，2个有啥不一样？
  • 请问微调开元模型qwe1.5b 和 7b 分别支持数据集的上下文长度是多少个汉字/token？
  • modelscope-funasr有说话人分离功能吗？
  • modelscope-funasr支持粤语么？
  • modelscope-funasr更新版本后 报这个错了，怎么解决 ？
  • modelscope-funasr模型可以国产化吗？可以部署在昇腾NPU上吗？
  • gpt3,加载数据时，MsDataset.load报错
    • 展开全部
  • Cline：29.7K Star！一文详解VSCode最强开源AI编程搭子：一键生成代码+自动跑终端+操控浏览器...
  • FastAPI开发者福音！FastAPI-MCP：将FastAPI秒变MCP服务器的开源神器，无需配置自动转换！
  • 智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
  • FireCrawl：开源 AI 网络爬虫工具，自动爬取网站及子页面内容，预处理为结构化数据
  • Qlib：华尔街颤抖！微软开源金融AI量化投资神器，助力智能投研
  • Yuxi-Know：开源智能问答系统，基于大模型RAG与知识图谱技术快速构建知识库
  • 全球首款开源通用型AI智能体上线！Suna：自动处理Excel/爬数据/写报告等复杂任务一句话搞定
  • 让AI单次生成4万字！WriteHERE：开源AI长文写作框架，单次生成超长文本，小说报告一键搞定！
  • 告别Hugging Face模型下载难题：掌握高效下载策略，畅享无缝开发体验
  • 让AI读懂K线图！ChatTS-14B：字节开源的时间序列理解和推理大模型，自然语言提问秒解趋势密码！
    • 展开全部
    还有其他疑问?
    咨询AI助理