spark3总结——分区数对带有初始值聚合操作的影响-阿里云开发者社区

spark3总结——分区数对带有初始值聚合操作的影响

2024-06-20 9

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： spark3总结——分区数对带有初始值聚合操作的影响

主题

在sparkRDD的转换操作中，有几个比较特殊的聚合操作，很容易受到分区数的影响，很容易迷惑初学者，比如fold，aggregate等，他们都有初始值zeroValue，在多分区数据集的情况下，初始值的加入和分区数的变化，会导致不同的计算结果。因为他们在分区内部做一次带有zeroValue的聚合后，在对不同分区聚合结果进行合并的时候，会再做一次带有zeroValue的聚合。我们看如下代码

package com.xhc.sparkscala
import org.apache.spark.{SparkConf, SparkContext}
object AggPartitionTest {
  def main(args: Array[String]): Unit = {
    // spark上下文
    val conf = new SparkConf().setAppName("AggPartitionTest").setMaster("local[*]")
    val sc = SparkContext.getOrCreate(conf)
    // 数据
    val data = Array(1, 2, 3, 4, 5)
    // 不同分区数进行聚合
    for (n <- 1 to 3){
      // 分区数据
      val distData = sc.parallelize(data).repartition(n)
      // 打印分区及分区数据
      distData.mapPartitionsWithIndex((idx, items)=>{items.map(x=>(idx, x))}).foreach(println)
      // 计算
      val foldResult = distData.fold(2)((a, b) => a + b)
      val aggResult = distData.aggregate(2)((a, b) => a + b, (c, d) => c + d)
      // 打印计算结果
      println("分区数：%d，fold结果：%d!".format(n, foldResult))
      println("分区数：%d，agg结果：%d!".format(n, aggResult))
    }
  }
}

运行结果如下：

分区及分区数据：
(0,1)
(0,2)
(0,3)
(0,4)
(0,5)
分区数：1，fold结果：19!
分区数：1，agg结果：19!
分区及分区数据：
(1,3)
(0,1)
(1,4)
(0,2)
(0,5)
分区数：2，fold结果：21!
分区数：2，agg结果：21!
分区及分区数据：
(0,4)
(1,2)
(2,1)
(0,5)
(2,3)
分区数：3，fold结果：23!
分区数：3，agg结果：23!