开发者社区> 问答> 正文

MaxCompute SQL优化与大数据开发套件对于倾斜现象的处理方案是什么?

MaxCompute SQL优化与大数据开发套件对于倾斜现象的处理方案是什么?

展开
收起
芯在这 2021-12-12 23:48:24 754 0
1 条回答
写回答
取消 提交回答
  • 1:过滤数据

    过滤掉某些脏数据,比如说是否可以去掉null,去掉某些条件对应的值

    2:加大并行度

    给任务添加处理资源,加大instance的数量,暴力

    3:对数据进行拆分,分而治之

    如果大表join小表,我们可以用mapjoin,将小表cache进内存 二次分发,加上随机前缀(数据膨胀),拆分数据集为热点+非热点再进一步处理 大表join超大表,还可以考虑bloomfilter

    4:组合使用

    上述方法,组合使用

    5:修改业务

    实在没有进步空间,从业务上过滤数据

    2021-12-12 23:48:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载