withclomn in pyspark错误：TypeError：'Column'对象不可调用
我正在使用spark 2.0.1，
| df.show() | |||||
|---|---|---|---|---|---|
| Survived | Pclass | Sex | SibSp | Parch | Fare |
| 0.0 | 3.0 | 1.0 | 1.0 | 0.0 | 7.3 |
| 1.0 | 1.0 | 0.0 | 1.0 | 0.0 | 71.3 |
| 1.0 | 3.0 | 0.0 | 0.0 | 0.0 | 7.9 |
| 1.0 | 1.0 | 0.0 | 1.0 | 0.0 | 53.1 |
| 0.0 | 3.0 | 1.0 | 0.0 | 0.0 | 8.1 |
| 0.0 | 3.0 | 1.0 | 0.0 | 0.0 | 8.5 |
| 0.0 | 1.0 | 1.0 | 0.0 | 0.0 | 51.9 |
我有一个数据框，我想使用withColumn向df添加一个新列，新列的值基于其他列值。我用过这样的东西：
dfnew = df.withColumn('AddCol' , when(df.Pclass.contains('3.0'),'three').otherwise('notthree'))
这是一个错误
TypeError: 'Column' object is not callable
展开
收起
1
条回答
写回答
写回答
-
社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。这是因为您正在尝试将该函数contains应用于该列。该功能contains在pyspark中不存在。你应该试试like。试试这个：
import pyspark.sql.functions as F
df = df.withColumn("AddCol",F.when(F.col("Pclass").like("3"),"three").otherwise("notthree"))
或者，如果您只是想让它成为数字3，应该做：import pyspark.sql.functions as F
If the column Pclass is numeric
df = df.withColumn("AddCol",F.when(F.col("Pclass") == F.lit(3),"three").otherwise("notthree"))
If the column Pclass is string
df = df.withColumn("AddCol",F.when(F.col("Pclass") == F.lit("3"),"three").otherwise("notthree"))
2019-07-17 23:23:18赞同 展开评论 打赏
相关问答
问答排行榜
最热
最新
推荐问答
