开发者社区 问答 正文

超大模型的训练和预测存在着资源浪费、多节点Serving延时加大等问题。DeepRec怎么解决?

时效性要求高的业务,需要频繁的线上模型更新,频率往往达到分钟级别甚至秒级。对于TB-10TB级别的超大模型而言,分钟级别的模型生成到上线很难完成。此外,超大模型的训练和预测存在着资源浪费、多节点Serving延时加大等问题。DeepRec怎么解决这类问题?

展开
收起
岩茶芋泥 2022-04-19 10:53:38 528 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • DeepRec提供了增量模型产出及加载能力,极大加速了超大模型生成和加载。 image.png

    2022-04-19 16:16:26
    赞同 展开评论
问答地址: