如何使用转换高阶函数？

目前它只适用于SQL表达式，但是如果你想要返回Column你的用途expr：

org.apache.spark.sql.functions._

expr("transform(i, x -> x + 1)"): Column
无论如何使用这种方式为转换提供自定义功能？

可以使用Scala UDF *：

spark.udf.register("f", (x: Int) => x + 1)

Seq((1, Seq(1, 2, 3))).toDF("id", "xs")
.withColumn("xsinc", expr("transform(xs, x -> f(x))"))

虽然它似乎没有提供任何真正的好处超过UDF采取Seq。

*对Python UDF的部分支持似乎已经到位（udfs被识别，类型被正确派生，调用也被调度），但是从2.4.0开始，序列化机制似乎被打破（所有记录都传递给UDF） as None）：

from typing import Optional
from tpyspark.sql.functions import expr

sc.version
'2.4.0'
def f(x: Optional[int]) -> Optional[int]:

return x + 1 if x is not None else None

spark.udf.register('f', f, "integer")

df = (spark

.createDataFrame([(1, [1, 2, 3])], ("id", "xs"))
.withColumn("xsinc", expr("transform(xs, x -> f(x))")))

df.printSchema()
root
|-- id: long (nullable = true)
|-- xs: array (nullable = true)
| |-- element: long (containsNull = true)
|-- xsinc: array (nullable = true)
| |-- element: integer (containsNull = true)

当然，这里没有真正的性能提升潜力 - 它的调度BasePythonRunner应该与普通的开销相同udf。