开发者学堂课程【大数据实时计算框架 Spark 快速入门: UpdateStateByKey、Tranform 算子_3】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1726
UpdateStateByKey、Tranform 算子_3
内容简介:
一、transform 事例
二、相关代码
一、transform 事例
可以通过 transform 算子,对 Dstream 做 RDD 到 RDD 的任意操作。其实就是DStream 的类型转换。transform 是一个 transformation 类算子。
二、相关代码
56
throws
Exception {
57
58
JavaPairRDD>>joinedRDO =
59
userLogBatchRDD.leftOuterJoin(blacklistRDD);
60
61
JavaPairRDD>> filteredRDD m
62
joinedRDD.filter(
new
Function>,Boolean>()
63
64
private static final long
serialVersionUID
= 1L;
65
66
@Override
67
public
Boolean call(Tuple2>> tuple)
68
throws
Exception {
69
70
if(tuple._2._2.isPresent()&&tuple._2._2.get()){
71
return false
;
72
74
return true
;
7
5
76
});
77
78
JavaRDDvalidLogRDDfilteredRDD.map(new Function
79
80
private static final long
serialVersionUID
= 1L;
81
82
@Override
83
public String call(
84
Tuple2>> tuple)
85
throws Exception{
86
return
tuple.
_
2.1:
87}
88
});
89
90
return validLogRDD;
91 }
92
});
93