开发者社区 问答 正文

从并行拆分PQ1.0的计划形态典型中可以看到有哪些特点?

从并行拆分PQ1.0的计划形态典型中可以看到有哪些特点?

展开
收起
xi哈啥哈 2022-04-30 13:53:27 1101 分享 版权
来自: 阿里技术
1 条回答
写回答
取消 提交回答
  • 执行模式是简单的scatter-gather,也就是只有一个plan slice,多个worker完成相同的功能,汇总到leader
    尽可能的下推算子到worker上
    leader负责完成无法下推的计算    计划形态是单一的,导致算子的并行方式单一,比如group by + aggregation,只能通过二阶段的聚集来完成:worker先做partial aggregation,leader上做final aggregation
    一旦leader上完成聚集操作,后续如果有distinct / window function / order by等,都只能在leader上完成,形成单点瓶颈
    如果存在数据倾斜,会使部分worker没有工作可做,导致并行扩展性差
    此外实现上还有一些待完善的地方,例如少量算子不支持并行、一些复杂的查询嵌套结构不支持并行
    
    2022-05-08 11:36:59
    赞同 展开评论
问答地址: