开发者社区> 问答> 正文

超大模型的训练和预测存在着资源浪费、多节点Serving延时加大等问题。DeepRec怎么解决?

时效性要求高的业务,需要频繁的线上模型更新,频率往往达到分钟级别甚至秒级。对于TB-10TB级别的超大模型而言,分钟级别的模型生成到上线很难完成。此外,超大模型的训练和预测存在着资源浪费、多节点Serving延时加大等问题。DeepRec怎么解决这类问题?

展开
收起
岩茶芋泥 2022-04-19 10:53:38 497 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • DeepRec提供了增量模型产出及加载能力,极大加速了超大模型生成和加载。 image.png

    2022-04-19 16:16:26
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
Blade优化技术在广告计算中的应用优化 立即下载
端到端GPU性能在深度学学习场景下的应用实践 立即下载
亿级 PV网站架构实战之性能压榨 立即下载