开发者社区> 问答> 正文

Data Cache命中率提高的方法有哪些?

Data Cache命中率提高的方法有哪些?

展开
收起
游客qzzytmszf3zhq 2021-12-09 19:52:46 409 0
1 条回答
写回答
取消 提交回答
  • 这里以DLA Serverless Presto来说明如何提高DLA FS的local Cache的命中率提高。Presto默认的split提交策略是NO_PREFERENCE,在这种策略下面,主要考虑的因素是worker的负载,因此某个split会被分到哪个worker上面很大程度上是随机的。在DLA Presto中,我们使用SOFT_AFFINITY提交策略。在提交Hive的split时,会通过计算split的hash值,尽可能将同一个split提交到同一个worker上面,从而提高Cache的命中率。 使用_SOFT_AFFINITY_策略时,split的提交策略是这样的:

    通过split的hash值确定split的首选worker和备选worker。 如果首选worker空闲,则提交到首选worker。 如果首选worker繁忙,则提交到备选worker。 如果备选worker也繁忙,则提交到最不繁忙的worker。

    2021-12-09 19:53:01
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载