开发者社区> 问答> 正文

从并行拆分PQ1.0的计划形态典型中可以看到有哪些特点?

从并行拆分PQ1.0的计划形态典型中可以看到有哪些特点?

展开
收起
xi哈啥哈 2022-04-30 13:53:27 1079 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 执行模式是简单的scatter-gather,也就是只有一个plan slice,多个worker完成相同的功能,汇总到leader
    尽可能的下推算子到worker上
    leader负责完成无法下推的计算    计划形态是单一的,导致算子的并行方式单一,比如group by + aggregation,只能通过二阶段的聚集来完成:worker先做partial aggregation,leader上做final aggregation
    一旦leader上完成聚集操作,后续如果有distinct / window function / order by等,都只能在leader上完成,形成单点瓶颈
    如果存在数据倾斜,会使部分worker没有工作可做,导致并行扩展性差
    此外实现上还有一些待完善的地方,例如少量算子不支持并行、一些复杂的查询嵌套结构不支持并行
    
    2022-05-08 11:36:59
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
探究高性能的海量节点树 立即下载
基于etcd的超大规模生产级弹性键值存储实践与优化 立即下载
存储分层企业数据存储类型选择与优化 立即下载