使用pyspark进行Spark RDD窗口化

用SCALA和mllib滑动 - 两个实现，有点繁琐，但在这里它是：

import org.apache.spark.mllib.rdd.RDDFunctions._
val rdd1 = sc.parallelize(Seq(

          ( "key1", "value1"),
          ( "key2", "value2"),
          ( "key3", "value3"),
          ( "key4", "value4"),
          ( "key5", "value5")
      ))

val rdd2 = rdd1.sliding(2)
val rdd3 = rdd2.map(x => (x(0), x(1)))
val rdd4 = rdd3.map(x => ((x._1._1, x._2._1),x._1._2, x._2._2))
rdd4.collect
另外，以下这个当然更好......：

val rdd5 = rdd2.map{case Array(x,y) => ((x._1, y._1), x._2, y._2)}
rdd5.collect
在两种情况下都返回：

res70: Array[((String, String), String, String)] = Array(((key1,key2),value1,value2), ((key2,key3),value2,value3), ((key3,key4),value3,value4), ((key4,key5),value4,value5))
我相信满足你的需求，但不是在pyspark。

在Stack Overflow上，您可以找到pyspark没有RDD等效语句的语句，除非您“自己滚动”。您可以在Pyspark中查看如何使用滑动窗口对时间序列数据转换数据。但是，我建议使用pyspark.sql.functions.lead（）和pyspark.sql.functions.lag（）来建议数据帧。