Spark之CASE...WHEN...THEN...的两种实现方式-阿里云开发者社区

Spark之CASE...WHEN...THEN...的两种实现方式

2017-11-01 3129

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。

在Spark中，dataframe是常用的数据格式，类似于数据库中的表。本文将介绍如何在dataframe中实现CASE…WHEN…THEN的两种方法。
一种是将dataframe看成数据库中的表，即使用createOrReplaceTempView（）函数，之后利用数据库的CASE…WHTN…THEN进行操作。另一种方法是，利用pyspark.sql.functions的when().otherwise()函数。实例代码如下：

#载入包
from pyspark.sql import SparkSession
from pyspark import SparkConf, SparkContext
import pyspark.sql.functions as F
#spark初始化
conf = SparkConf()
APPNAME = 'spark_temporal_test'
conf.set("spark.app.name", APPNAME)
spark = SparkSession.builder.config(conf=conf).getOrCreate()
#创建dataframe
df = spark.createDataFrame([[1,'A'],[2,'B'],[3,'C'],[4,'C'],[5,'B'],[6,'A'],[7,'D'],\
                            [8,'A'],[9,'B'],[10,'C'],[11,'C'],[12,'B'],[13,'A'],[14,'D'],\
                            [15,'A'],[16,'B'],[17,'C'],[18,'C'],[19,'B'],[20,'']],['id','split'])
df = df.withColumn('rand', F.rand(1))
#CASE WHEN的实现1
df = df.withColumn('mod_val_test1',F.when(df['rand'] <= 0.35,1).when(df['rand'] <= 0.7, 2).otherwise(3))
#CASE WHEN的实现2
df.createOrReplaceTempView("temp")
df= spark.sql("""select *, case when rand <= %s then 1
                                when rand <= %s then 2
                                else 3 end as mod_val_test2
                        from temp"""%(0.35,0.7))
#输出，查看结果
print(df.show())