问题一：在SQL数据源读取查询时，为什么要合并小文件？
在SQL数据源读取查询时，为什么要合并小文件？
参考回答：
数据源读取查询时，如果动态分区数过多可能会造成小文件数过多。每个小文件都会作为一个数据块启动一个Map任务来处理，这样可能导致大量的Map任务初始化，而初始化时间可能远大于逻辑处理时间，造成资源浪费。因此，通过合并小文件为大文件可以减少Map任务的初始化次数，提高效率。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/615687
问题二：列裁剪是什么？为什么它重要？
列裁剪是什么？为什么它重要？
参考回答：
列裁剪是指减少使用“select * from table”这样的查询语句，避免选择过多无用的列，从而减少数据在集群上传输的IO开销。它之所以重要，是因为选择无用的列会增加数据传输的负担，降低处理效率。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/615688
问题三：什么是谓词下推？它如何提升任务性能？
什么是谓词下推？它如何提升任务性能？
参考回答：
谓词下推是指在不影响结果的情况下，尽可能将过滤条件表达式靠近数据源位置，使之提前执行。这样可以在Map端就过滤掉不符合条件的数据，减少数据的输出和集群间的IO传输，从而提升任务的性能。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/615689
问题四：数据重分布是什么？它如何帮助解决数据倾斜问题？
数据重分布是什么？它如何帮助解决数据倾斜问题？
参考回答：
数据重分布是在Map阶段做聚合时使用的一种策略，通过随机分布函数（如distribute by rand()）来控制Map端输出结果的分发。这种方法可以打乱数据的自然分布，避免在Map端就发生数据倾斜，使得数据更均匀地分发到各个Reduce节点，从而提高处理效率。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/615690
问题五：长尾效应是什么？如何引起的？
长尾效应是什么？如何引起的？
参考回答：
长尾效应在很大程度上是由于null值或空值导致的。这些无效值使得含有脏数据的数据集在Reduce阶段被分发到同一台机器中，从而引发长尾效应。
关于本问题的更多回答可点击原文查看：https://developer.aliyun.com/ask/615691
