开发者社区> 问答> 正文

parallel scan优化了哪些方面

parallel scan优化了哪些方面

展开
收起
xi哈啥哈 2022-04-30 14:02:50 1279 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 1.尽量做细粒度的切分,使分片数 >> worker数,然后worker之间通过round robin的方式去“抢”分片来执行,这样自然做到了能者多劳,避免由于数据分布skew导致的负载不均衡问题,这是shared storage系统的一个天然优势。 2.切分时可以不用dive到叶子节点,也就是以page作为最小分区单位,来加速初始分区速度。

    2022-05-14 10:19:55
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
SparkSQL实践与优化 立即下载
Spark优化实践 立即下载
低代码开发师(初级)实战教程 立即下载