MaxCompute优化系列-如何解决`无效Join` ?-阿里云开发者社区

开发者社区> 阿里巴巴大数据计算> 正文

MaxCompute优化系列-如何解决`无效Join` ?

简介: 无效Join 比如这个例子: insert overwrite table my_table partition(ds='${bizdate}')  select      t1.task_type,     sum(t1.
无效Join判断

比如这个例子:

insert overwrite table my_table partition(ds='${bizdate}') 
select 
    t1.task_type,
    sum(t1.plan) total, 
    sum(t1.real)/(sum(t1.plan)+0.0001) RPR,
    sum(t1.plan_A) total_real_mem,
    sum(t1.real_A)/(sum(t1.plan_A)+0.0001) RPR_A
from m1_task t1 
left outer join dim_info t2
on t1.project_name=t2.project_name and t1.ds='${bizdate}' and t2.ds='${bizdate}'
group by t1.task_type;



t2 这张表,虽然被拿来join了,但是where、group by、select里都没有被用到,而且也不会带来t1表的数据量的缩减(因为是left outer join),属于有没有都无所谓的情况,这就是典型的无效join,无端增加输入量,浪费资源。

 华北2(北京)Region MaxCompute购买地址:https://common-buy.aliyun.com/?commodityCode=odpsplus#/buy


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
阿里巴巴大数据计算
使用钉钉扫一扫加入圈子
+ 订阅

阿里大数据官方技术圈

官方博客
链接