Scala,Spark-shell,Groupby失败-问答-阿里云开发者社区-阿里云

开发者社区> 社区小助手> 正文

Scala,Spark-shell,Groupby失败

2018-12-21 11:51:10 1311 1

我有Spark版本2.4.0和scala版本2.11.12。我可以使用以下代码成功加载数据帧。

val df = spark.read.format("csv").option("header","true").option("delimiter","|").option("mode","DROPMALFORMED").option("maxColumns",60000).load("MAR18.csv")
但是,当我尝试通过以下操作进行分组时,我收到错误。

df.groupby("S0102_gender").agg(sum("Respondent.Serial")).show()
错误消息是:

错误:value groupby不是org.apache.spark.sql.DataFrame的成员

取消 提交回答
全部回答(1)
  • 社区小助手
    2019-07-17 23:23:21

    不是groupby应该是groupBy,如下所示......显然是拼写错误。

    df.groupBy("S0102_gender").agg(sum("Respondent.Serial")).show()


    你有一个错误:更改groupby至groupBy

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123748浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120275浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20211202)

亢海鹏 2020-05-29 15:10:00 62206浏览量 回答数 37

20

回答

【阿里云产品公测】简单日志服务SLS使用评测含教程

mr_wid 2014-10-09 07:18:30 41044浏览量 回答数 20

9

回答

问几个小白问:服务器重置?数据恢复?及其他?

ap6681c6b 2012-08-15 20:47:42 37878浏览量 回答数 9

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118488浏览量 回答数 5

3

回答

2020年05月编程排行榜-C语言继2015年,重新成为编程排行榜第一名

huc_逆天 2020-05-06 13:43:42 35318浏览量 回答数 3

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 50842浏览量 回答数 18

1

回答

【开源分享】-6期- Linkis 一款支持多种计算存储引擎的企业级计算中间件

montos 2020-05-08 10:55:23 28497浏览量 回答数 1

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 56748浏览量 回答数 11
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载