开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

跨数据中心数据缓存策略是什么?

已解决

跨数据中心数据缓存策略是什么?

展开
收起
游客lmkkns5ck6auu 2022-08-10 10:44:13 395 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    我们首次提出了跨地域、跨数据中心数据缓存这一概念,通过集群的存储换集群间带宽,在有限的冗余存储下,找到存储和带宽最佳的 tradeoff。通过深入的分析 MaxCompute 的作业、数据的特点,我们设计了一种高效的算法,根据作业历史的 workload、数据的大小和分布,自动进行缓存的换入换出。我们研究了多种数据缓存算法,并对其进行了对比试验,下图展示了不同缓存策略的收益,横轴是冗余存储空间,纵轴是带宽消耗。从图中可以看出,随着冗余存储的增加,带宽成本不断下降,但收益比逐渐降低,我们最终采用的 k-probe 算法在存储和带宽间实现了很好的平衡。

    以上内容摘自《“伏羲”神算》电子书,点击https://developer.aliyun.com/topic/download?id=873

    2022-08-10 17:38:53
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关电子书

更多
基于英特尔 SSD 的虚拟机缓存解决SSD 立即下载
用户态高速块缓存方案 立即下载
高性能Web架构之缓存体系 立即下载