DeepRec怎么解决这几个问题？
稀疏模型中特征存在冷热倾斜的特性，这产生了某些冷门特征很少被访问和更新导致的内存/显存浪费问题，以及超大模型内存/显存放不下的问题。DeepRec怎么解决这类问题？
展开
收起
1
条回答
写回答
写回答
-
DeepRec提供了多级混合存储（支持最多四级的混合存储HBM+DRAM+PMEM+SSD）的能力，自动将冷门特征存放到廉价的存储介质中，将热门特征存放到访问更快、更贵的存储介质上，通过多级混合存储，使得单节点可以进行TB-10TB模型的Training和Serving。通过多级混合存储，能够更大发挥GPU训练稀疏模型的能力，同时降低由于存储资源限制造成的计算资源浪费，可以使用更少的机器进行相近规模的模型训练，或者使用相同数量的机器进行更大规模的训练。多级混合存储也能使得单机进行超大模型预测时避免分布式Serving带来的latency增大问题，提高大模型的预测性能的同时降低成本。多级混合存储功能也拥有自动发现特征的访问特性，基于高效的热度统计策略，将热度高的特征放置到快速的存储介质中，将低频的特征offload到低速存储介质中，再通过异步方式驱动特征在多个介质之间移动。
2022-04-19 16:16:16赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
