开发者社区> 问答> 正文

在做plan generation时,其核心操作是什么?

在做plan generation时,其核心操作是什么?

展开
收起
xi哈啥哈 2022-04-30 14:02:24 1157 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • clone
    

    根据串行physical plan和子slice的描述,将相对应的结构clone到各个worker线程中,如上图右下部分,将在worker上执行的t1 join t2和下推的聚集操作clone了下来。 refix 原始的串行计划需要转换为leader计划,因此要替掉不必要的执行结构并调整一些引用关系,如上图右上部分,由于t1 join t2和部分聚集操作已经下推,leader上需要去掉不必要的结构,并替换为从一个collector table中读取worker传递上来的数据,同时需要将后续步骤中引用的t1/t2表的结构转为引用collector表的对应结构。

    2022-05-08 11:37:45
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
Cost-based Query Optimization 立即下载
Deep Dive:How Spark Uses Memory 立即下载
Garbage-In-Garbage-Out-How-Purportedly-Great-ML-Models-Can-Be-Screwed-Up-By-Bad-Data 立即下载