Spark,Scala:如何从Rdd或dataframe中删除空行?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Spark,Scala:如何从Rdd或dataframe中删除空行?

社区小助手 2018-12-21 11:56:23 6546

我在scala上使用spark。我在Rdd中有一些空行。我需要将它们从Rdd中删除。

我试过它:

val valfilteredRow = rddRow.filter(row => row!=null && row.length>0)
但它没有用。

Rdd中的行看起来像[with:valfilteredRow.collect()。foreach(println)]:

[,AAGGOO]
[,AAAOOO]
[,GGGGGII]
[]
[,UGGG]

分布式计算 Scala Spark
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:21

    假设您有以下顺序:

    val seq = Seq(
    ",AAGGOO",
    ",AAAOOO",
    ",GGGGGII",
    "",
    ",UGGG"
    )
    DF

    val df = seq.toDF("Column_name")

    df.show(false)

    Column_name
    ,AAGGOO
    ,AAAOOO
    ,GGGGGII
    ,UGGG

    df.filter(row => !(row.mkString("").isEmpty && row.length>0)).show(false)

    Column_name
    ,AAGGOO
    ,AAAOOO
    ,GGGGGII
    ,UGGG

    rdd

    val rdd = sc.parallelize(seq)

    val filteredRdd = rdd.filter(row => !row.isEmpty)

    filteredRdd.foreach(println)

    ,AAGGOO
    ,AAAOOO
    ,GGGGGII
    ,UGGG


    这是我在Pyspark所做的:

    假设您有一个输入文件,如:

    Banana,23,Male,5,11,2017

    Dragon,28,Male,1,11,2017
    Dragon,28,Male,1,11,2017
    第二行是空的。

    rdd = sc.textFile(PATH_TO_FILE).mapPartitions(lambda line: csv.reader(line,delimiter=','))

    rdd.take(10)
    [['Banana', '23', 'Male', '5', '11', '2017'], [], ['Dragon', '28', 'Male', '1', '11', '2017'], ['Dragon', '28', 'Male', '1', '11', '2017']]

    你可以看到第二个元素是空的,所以我们将通过计算元素的长度来过滤它,元素的长度应该大于1。

    rdd = sc.textFile(PATH_TO_FILE).mapPartitions(lambda line: csv.reader(line,delimiter=',')).filter(lambda line: len(line) > 1)
    rdd.take(10)

    [['Banana', '23', 'Male', '5', '11', '2017'], ['Dragon', '28', 'Male', '1', '11', '2017'], ['Dragon', '28', 'Male', '1', '11', '2017']]

    0 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题