开发者社区> 问答> 正文

基于条件的多列总和

我想根据条件总结每行的列数。我找到了一种方法,但是当我有20多列要总结时似乎不是一个好主意,因为它会为每个列生成一个额外的列。

想要的结果是:以“_val”结尾的所有列的值总和,其中value为0或1(或<2,我只是想立即排除值3)

val df1 = Seq(
("id1", 1, 0, 3),
("id2", 0, 0, 3),
("id3", 1, 1, 3))
.toDF("id", "bla_val", "blub_val", "bli_val")
我希望的解决方案是列总和

val channelNames = df1.schema.fieldNames.filter(_.endsWith("_val"))
val ch = channelNames.map(x => col(x+"_redval"))

val df2 = df1.select(col("*") +: (channelNames.map(c =>
when(col(c) === 1, lit(1))

.otherwise(lit(0)).as(c+"_redval"))): _*) 

val df3 = df2.withColumn("sum", ch.reduce(_+_))
df3.show()
输出示例:

id bla_val blub_val bli_val bla_val_redval blub_val_redval bli_val_redval sum
id1 1 0 3 1 0 0 1
id2 0 0 3 0 0 0 0
id3 1 1 3 1 1 0 2

展开
收起
社区小助手 2018-12-12 13:25:24 1112 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    您可以使用reduce()操作组合表达式。看一下这个:

    val df1 = Seq(
    ("id1", 1, 0, 3),
    ("id2", 0, 0, 3),
    ("id3", 1, 1, 3))
    .toDF("id", "bla_val", "blub_val", "bli_val")

    val newcols= df1.columns.filter(_.endsWith("_val")).map( x=> when(col(x)===1, lit(1)).otherwise(lit(0))).reduce(_+_)
    df1.withColumn("redval_count",newcols).show(false)
    输出:

    id bla_val blub_val bli_val redval_count
    id1 1 0 3 1
    id2 0 0 3 0
    id3 1 1 3 2
    2019-07-17 23:20:06
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载