开发者学堂课程【大数据 Spark 2020版(知识精讲与实战演练)第三阶段:有类型转换_filter】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/690/detail/12069
有类型转换_filter
有类型转换_filter
转换部分学习完了,学习了五个算子,分别是 flat map、map、map Partitions、transfer、as,它们都是进行转换的,那无论是做一整个数据集还是作用于元素,其实所做的事情都是转换。
通过这个章节了解一下过滤操作,那么过滤操作其实就是 filter,通过这一小节,都能了解这个 filter 怎么使用,它和 rdd.当中没有什么区别。
我们就创建一个新的 test:
Def filter(): Unit = {
Import spark.implicits._//在外部已经导入过了,所以可以去掉
Valds= Seq(Person(“zhangsan”,15),Person(“list”,20)).toDS()
ds.filter( person => person.age >15).show()//filter 的使用方法
}
}
运行结果:
没有任何问题,以上就是 filter 的使用。