开发者社区> 问答> 正文

Scala,Spark-shell,Groupby失败

社区小助手 2018-12-21 11:51:10 563

我有Spark版本2.4.0和scala版本2.11.12。我可以使用以下代码成功加载数据帧。

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")
但是,当我尝试通过以下操作进行分组时,我收到错误。

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()
错误消息是:

错误:value groupby不是org.apache.spark.sql.DataFrame的成员

分布式计算 Scala Spark
分享到
取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:21

    不是groupby应该是groupBy,如下所示......显然是拼写错误。

    df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()


    你有一个错误:更改groupby至groupBy

    0 0
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题
推荐课程