1
条回答
写回答
写回答
-
https://developer.aliyun.com/profile/5yerqm5bn5yqg?spm=a2c6h.12873639.0.0.6eae304abcjaIB它的表现有多种，比如若干task停滞不前，像是出现了bugs，又比如大量的diskspilling会导致很多节点都无事可做。此外，你也许会看到outofmemory这种异常。其解决方法也很多，比如找到skewvalues然后重写query，或者在join的情况下增加skewkeys来消除数据分布不均，但是无论哪种方法，都非常浪费时间，且后期难以维护。AQE解决问题的方式如下，其通过shuffle落地后的中间数据结果判断哪些partition是skew的，如果partition过大，就将其分成若干较小的partition，通过分而治之，总体性能大幅提升。
2020-12-28 11:13:46赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门讨论
热门文章
阿里云E-MapReduce用自己搭建的DS，调用hive执行sql时，报这个错，是什么原因呢？
33
阿里云E-MapReduce需要变动什么吗？
25
计划在新加坡服务器部署集群，阿里云E-MapReduce支持吗？
78
阿里云E-MapReduce这个ossref 是这样写的吧？
69
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？
98
阿里云E-MapReduce公司最近Presto所在的服务器，请问这种问题各位有遇到过吗？
53
阿里云E-MapReduce中clickhouse或者starrocks 可以做商用化部署吗?
21
请问hive 的hive-site.xml文件在哪啊
1498
大佬，可以请教下，有没有遇到 com.aliyun.oss
993
阿里云E-MapReduce的OSS-HDFS中，是否有便捷的方法来创建目录结构？
92
展开全部
现代流式计算的基石：Google DataFlow
17860
Spark in action on Kubernetes - Playground搭建与架构浅析
13043
JindoFS概述：云原生的大数据计算存储分离方案
22666
开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
8536
csv导入HBase
7061
通过ZeppelinHub viewer来分享zeppelin的notebook和报表数据
6951
Spark中的资源调度
7631
E-MapReduce集群中HDFS服务集成Kerberos
6623
实时 OLAP 系统 Druid
5590
E-MapReduce 4.0产品新特性
6258
展开全部
