dataframe spark scala取每组的（MAX-MIN）

df.groupBy("groupCol").agg(max("value")-min("value"))
基于OP编辑的问题，这里有一种在PySpark中执行此操作的方法。这个想法是按每组的时间的升序和降序计算行号，并使用这些值进行减法。

from pyspark.sql import Window
from pyspark.sql import functions as func
w_asc = Window.partitionBy(df.groupCol).orderBy(df.time)
w_desc = Window.partitionBy(df.groupCol).orderBy(func.desc(df.time))
df = df.withColumn(func.row_number().over(w_asc).alias('rnum_asc')) \

   .withColumn(func.row_number().over(w_desc).alias('rnum_desc'))

df.groupBy(df.groupCol) \
.agg((func.max(func.when(df.rnum_desc==1,df.value))-func.max(func.when(df.rnum_asc==1,df.value))).alias('diff')).show()
如果first_valueSpark SQL中有窗口函数，那会更容易。使用SQL解决此问题的一般方法是

select distinct groupCol,diff
from (
select t.*

  ,first_value(val) over(partition by groupCol order by time) - 
   first_value(val) over(partition by groupCol order by time desc) as diff

from tbl t
) t