大数据Spark DataFrame/DataSet常用操作4

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据Spark DataFrame/DataSet常用操作4
+关注继续查看

3.2.2 其他join类型,只需把inner改成你需要的类型即可

image

image

image

image

image

scala> df1.join(df2,Seq("k1"),"left").show
+---+---+---+---+---+
| k1| k2| k3| k2| k4|
+---+---+---+---+---+
|  a|  1|  2|  2|  2|
|  b|  2|  3|  2|  1|
|  b|  2|  3|  3|  3|
+---+---+---+---+---+
//左外连接 left_outer可简写为left
scala> df1.join(df2,Seq("k1"),"left_outer").show
+---+---+---+---+---+
| k1| k2| k3| k2| k4|
+---+---+---+---+---+
|  a|  1|  2|  2|  2|
|  b|  2|  3|  2|  1|
|  b|  2|  3|  3|  3|
+---+---+---+---+---+
//左半连接
scala> df1.join(df2,Seq("k1"),"leftsemi").show
+---+---+---+
| k1| k2| k3|
+---+---+---+
|  a|  1|  2|
|  b|  2|  3|
+---+---+---+
scala> df1.join(df2,Seq("k1","k2"),"left").show
+---+---+---+----+
| k1| k2| k3|  k4|
+---+---+---+----+
|  a|  1|  2|null|
|  b|  2|  3|   1|
+---+---+---+----+
scala> df1.join(df2,Seq("k1"),"right").show
+---+----+----+---+---+
| k1|  k2|  k3| k2| k4|
+---+----+----+---+---+
|  a|   1|   2|  2|  2|
|  b|   2|   3|  3|  3|
|  b|   2|   3|  2|  1|
|  c|null|null|  1|  1|
+---+----+----+---+---+

left是left_outer的简写

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

image

4 单表操作:列的增删改与空值处理

image

image

image

image

image

image

image

image

image

image

image

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
SQL 分布式计算 Spark
200 Spark DataFrame常用操作- SQL风格语法
200 Spark DataFrame常用操作- SQL风格语法
13 0
|
1月前
|
分布式计算 Spark
199 Spark DataFrame常用操作- DSL风格语法
199 Spark DataFrame常用操作- DSL风格语法
14 0
199 Spark DataFrame常用操作- DSL风格语法
|
3月前
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作2
大数据Spark DataFrame/DataSet常用操作2
118 0
|
3月前
|
JSON 分布式计算 大数据
大数据Spark DataFrame/DataSet常用操作1
大数据Spark DataFrame/DataSet常用操作1
98 0
|
3月前
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作3
大数据Spark DataFrame/DataSet常用操作3
35 0
|
3月前
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作2
大数据Spark DataFrame/DataSet常用操作2
28 0
|
3月前
|
分布式计算 资源调度 大数据
大数据MapReduce常用操作
大数据MapReduce常用操作
22 0
|
分布式计算 Hadoop 大数据
大数据编程实验一:HDFS常用操作和Spark读取文件系统数据
大数据编程实验,利用本地搭建的伪分布式集群进行HDFS常用操作和Spark读取文件系统数据的操作。
536 1
大数据编程实验一:HDFS常用操作和Spark读取文件系统数据
|
SQL 存储 分布式计算
【Spark】Spark Dataframe 常用操作(一行数据映射为多行)
【Spark】Spark Dataframe 常用操作(一行数据映射为多行)
1024 0
|
分布式计算 资源调度 监控
大数据入门与实战-HDFS的常用操作
大数据入门与实战-HDFS的常用操作
79 0
大数据入门与实战-HDFS的常用操作
热门文章
最新文章
推荐文章
更多