开发者社区> 问答> 正文

parallel scan优化了哪些方面?

parallel scan优化了哪些方面?

展开
收起
游客x3a254b44ahsk 2022-05-07 12:54:02 401 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 1尽量做细粒度的切分,使分片数 >> worker数,然后worker之间通过round robin的方式去“抢”分片来执行,这样自然做到了能者多劳,避免由于数据分布skew导致的负载不均衡问题,这是shared storage系统的一个天然优势。
    2切分时可以不用dive到叶子节点,也就是以page作为最小分区单位,来加速初始分区速度。
    
    2022-05-08 11:37:46
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
SparkSQL实践与优化 立即下载
Spark优化实践 立即下载
低代码开发师(初级)实战教程 立即下载