UpdateStateByKey、Tranform 算子_3|学习笔记

简介: 快速学习 UpdateStateByKey、Tranform 算子_3

开发者学堂课程【大数据实时计算框架 Spark 快速入门: UpdateStateByKey、Tranform 算子_3】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1726


UpdateStateByKey、Tranform 算子_3


内容简介:

一、transform 事例

二、相关代码

 

一、transform 事例

可以通过 transform 算子,对 Dstream 做 RDD 到 RDD 的任意操作。其实就是DStream 的类型转换。transform 是一个 transformation 类算子。

 

二、相关代码

56throws Exception {

57

58 JavaPairRDD>>joinedRDO =

59 userLogBatchRDD.leftOuterJoin(blacklistRDD);

60

61JavaPairRDD>> filteredRDD m

62joinedRDD.filter(new Function>,Boolean>()

63

64private static final long serialVersionUID = 1L;

65

66@Override

67public Boolean call(Tuple2>> tuple)

68throws Exception {

69

70if(tuple._2._2.isPresent()&&tuple._2._2.get()){

71return false;

72

74return true;

75

76});

77

78JavaRDDvalidLogRDDfilteredRDD.map(new Function

79

80private static final long serialVersionUID= 1L;

81

82@Override

83public String call(

84Tuple2>> tuple)

85throws Exception{

86return tuple._2.1:

87}

88});

89

90return validLogRDD;

91 }

92 });

93

相关文章
|
存储 算法
halcon模板匹配实践(1)算子参数说明与算子简介
halcon模板匹配实践(1)算子参数说明与算子简介
780 0
|
存储 缓存 分布式计算
Spark RDD算子进阶(转换算子、行动算子、缓存、持久化)(下)
Spark RDD算子进阶(转换算子、行动算子、缓存、持久化)(下)
142 0
Spark RDD算子进阶(转换算子、行动算子、缓存、持久化)(下)
|
分布式计算
|
分布式计算 算法 大数据
RDD 算子_转换_ combineByKey | 学习笔记
快速学习 RDD 算子_转换_ combineByKey
120 0
RDD 算子_转换_ combineByKey | 学习笔记
|
分布式计算 算法 大数据
Rdd 算子_转换_mapvalues | 学习笔记
快速学习 Rdd 算子_转换_mapvalues
125 0
Rdd 算子_转换_mapvalues | 学习笔记
|
分布式计算 大数据 Spark
Rdd 算子_转换_回顾 | 学习笔记
快速学习 Rdd 算子_转换_回顾
Rdd 算子_转换_回顾 | 学习笔记
|
分布式计算 大数据 Scala
RDD 算子_转换_ foldByKey | 学习笔记
快速学习 RDD 算子_转换_ foldByKey
153 0
RDD 算子_转换_  foldByKey | 学习笔记
|
分布式计算 大数据 开发者
RDD 算子_转换_ aggregateByKey | 学习笔记
快速学习 RDD 算子_转换_ aggregateByKey
106 0
RDD 算子_转换_ aggregateByKey | 学习笔记
|
分布式计算 大数据 开发者
RDD 算子_转换 join | 学习笔记
快速学习 RDD 算子_转换 join
RDD 算子_转换 join | 学习笔记
|
分布式计算 大数据 Spark
RDD 算子_转换_排序 | 学习笔记
快速学习 RDD 算子_转换_排序
RDD 算子_转换_排序 | 学习笔记