开发者社区> 问答> 正文

带参数的getItem是列名

社区小助手 2018-12-12 11:34:09 317

我的专栏col1是一个数组。

我知道这col1.getItem(2)允许您访问列的第二个参数。是否有一个函数可以使用参数作为列进行访问col1.getItem(col2) ?

我可以创建一个UDF,但是我必须指定数组的类型(并且它可以是多种类型),所以通用方式会更好并且受欢迎!

我使用的UDF:

def retrieveByIndexSingleT : ClassTag:T = value(index + offset)

def retrieveByIndexSingleDUDF = udf((value:Seq[Double] ,index:Int) => {

retrieveByIndexSingle[Double](value, index)

})

def retrieveByIndexSingleSUDF = udf((value:Seq[String] ,index:Int) => {

retrieveByIndexSingle[String](value, index)

})

分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:20:05

    可以使用SQL表达式expr:

    import org.apache.spark.sql.functions.expr

    val df = Seq(

    (Seq("a", "b", "c"), 0), (Seq("d", "e", "f"), 2)

    ).toDF("col1", "col2")

    df.withColumn("col3", expr("col1[col2]")).show
    col1 col2 col3
    [a, b, c] 0 a
    [d, e, f] 2 f

    或者,在Spark 2.4或更高版本中,element_at功能:

    import org.apache.spark.sql.functions.element_at

    df.withColumn("col3", element_at($"col1", $"col2" + 1)).show
    col1 col2 col3
    [a, b, c] 0 a
    [d, e, f] 2 f

    请注意,目前(Spark 2.4)这两种方法之间存在不一致:

    SQL []索引从0开始。
    element_at 索引是基于1的。

    0 0