在spark rdd级别中使用groupby的条件运算符 - scala

问题是，在你map调用Row的apply 方法时，正如你在其scaladoc中看到的那样，该方法返回Any - 正如你可以看到的那样，错误和scaladoc中没有这样的方法在Any中 <

您可以使用该getAs[T]方法修复它。

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.SparkSession

val spark =
SparkSession

.builder
.master("local[*]")
.getOrCreate()

import spark.implicits._

val df =
List(

(1, 2),
(1, 0),
(1, 3),
(2, 0),
(2, 0),
(3, 1),
(3, 2)

).toDF("id", "needed")

val rdd: RDD[(Int, Int)] = df.rdd.map(row => (row.getAsInt, row.getAsInt))
从那里你可以继续聚合，你的逻辑中有一些错误。
首先，您不需要count通话。
第二，如果你需要计算的次数"needed"大于你不能做的次数_ + _，因为这是所需值的总和。

val grouped: RDD[(Int, Int)] = rdd.reduceByKey { (acc, v) => if (v > 0) acc + 1 else acc }

val result: Array[(Int, Int)] = grouped.collect()
// Array((1,3), (2,0), (3,2))
PS：你应该告诉你的教授升级到Spark 2和Scala 2.11;）

编辑
在上面的例子中使用case类。

final case class Data(id: Int, needed: Int)
val rdd: RDD[Data] = df.as[Data].rdd
val grouped: RDD[(Int, Int)] = rdd.map(d => d.id -> d.needed).reduceByKey { (acc, v) => if (v > 0) acc + 1 else acc }
val result: Array[(Int, Int)] = grouped.collect()
// Array((1,3), (2,0), (3,2))