Scala,Spark-shell,Groupby失败-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Scala,Spark-shell,Groupby失败

我有Spark版本2.4.0和scala版本2.11.12。我可以使用以下代码成功加载数据帧。

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")
但是,当我尝试通过以下操作进行分组时,我收到错误。

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()
错误消息是:

错误:value groupby不是org.apache.spark.sql.DataFrame的成员

展开
收起
社区小助手 2018-12-21 11:51:10 1674 0
1 条回答
写回答
取消 提交回答
  • 社区小助手
    社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    不是groupby应该是groupBy,如下所示......显然是拼写错误。

    df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()


    你有一个错误:更改groupby至groupBy

    2019-07-17 23:23:21
    赞同 展开评论 打赏
问答分类:
问答标签:
问答地址:
问答排行榜
最热
最新
相关电子书
更多
Just Enough Scala for Spark
立即下载
SparkR under the hood How to debug your SparkR code
立即下载
Hivemall: Scalable machine learning library for Apache Hive/Spark/Pig
立即下载