AI 助理
备案控制台
开发者社区 问答 正文

HybridBackend中的参数缓存机制是如何设计的，有何优势？

HybridBackend中的参数缓存机制是如何设计的，有何优势？

展开
收起
不吃核桃 2024-08-07 18:53:45 63 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 格格的阿里云

    HybridBackend设计了基于数据频次感知的参数缓存机制，通过统计训练数据的ID，将最热的访问数据缓存到GPU显存中，而冷数据及哈希表结构则存放在主内存中。主内存中的数据根据ID访问频率变化，定期将top-k高频ID对应的embeddings刷新到GPU显存缓存中。这种混合存储结合了GPU显存的高带宽和DRAM的大容量，提升了数据访问效率。
    image.png

    2024-08-07 20:18:36
    赞同 5 展开评论
问答分类：
缓存
问答标签：
缓存机制 缓存优势
问答地址：
开发者社区 > 云计算 > 问答
相关问答
flink 这个缓存受table.exec.state.ttl 这个参数控制吗？
215
1
0
阿里云E-MapReduce在初始化 FileSystem 过程中有啥 参数可以设置 开启缓存模式？
137
2
0
对nacos及底层的机制不熟，是nacos哪里缓存问题，还是什么问题么？
158
3
0
DADI相比开源解决方案Alluxio-Fuse在缓存命中场景下的RT（响应时间）有何优势？
69
1
0
数据处理时，同一个参数会有缓存吗？
72
0
0
云效自定义缓存 buildctl 后面没法增加参数，想自定义镜像去增加参数，请问这个ACR如何实现？
135
2
0
ModelScope模型已经下载到缓存中了，我应该如何设置参数？
102
1
0
使用枚举缓存相比直接遍历枚举值查找性能优势在哪里？
41
1
0
谈一下mybatis 在分别在反射和数据方面的缓存机制吗？
54
1
0
使用Guava Cache相比自己设计本地缓存有哪些优势？
72
1
0