spark sql 使用row_number 出现oom

数据倾斜是指在数据处理过程中，某些分区的数据量远远大于其他分区，导致某些任务的执行时间远远长于其他任务，最终导致任务失败或oom。以下是解决数据倾斜的几种方式：

• 增加并行度：可以使用repartition或coalesce方法增加分区数，从而增加并行度。但是要注意，增加分区数并不一定能解决数据倾斜问题，还需结合其他策略。

• 使用随机数解决数据倾斜：如果数据倾斜是因为某些数据的key值太大导致的，可以使用随机数方式将key值分散到多个分区中，从而解决数据倾斜。具体的做法是：将key值与一个0到分区数之间的随机数相加得到新的key值，然后再进行处理。

• 使用聚合操作解决数据倾斜：根据业务需求，可以尝试使用聚合操作，如group by、distinct等来解决数据倾斜。聚合操作可以减少某些分区的数据量，从而达到均衡各个分区的目的。

• 使用动态分区预防数据倾斜：在一些变量数据key较多的时候，可以预先设定多个桶，计算出各个桶的数据分配情况，并动态的加入新的桶，这样就能够均衡各个分区的数据量。

• 增加机器资源：如果以上方法都无法解决数据倾斜问题，最后的解决方式就是增加机器资源，如增加节点、增加内存等。

可以试试这个是否可以。

1. 增加reduce 聚合操作的内存的比例
2. 增加Executor memory的大小 --executor-memory 5G
3. 减少reduce task每次拉取的数据量 设置spak.reducer.maxSizeInFlight 24m, 拉取的次数就多了，因此建立连接的次数增多，有可能会连接不上（正好赶上map task端进行GC）