开发者学堂课程【大数据实时计算框架 Spark 快速入门: spark streaming初始_3】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/100/detail/1721
spark streaming 初始_3
内容简介:
一、具体内容
一、具体内容
Dstream 对它应用算子操作,它会把算子运用到每个 RDD 上面去,既然是把没个算子应用到每个 RDD 上面去,那最终就会落到每个元素上面。
所以 lines , Dstream 可以传起来的每一个元素就是之前的每一行,然后经过flatmap 做成每一行就是自己写,经过 Dstream 的操作加了一下就是javaDstream, maptopair 变成 word1,reducebykey 的操作,按之前的逻辑去排泄物,有一个 action 操作, print 会打印前十行。
开始运行:
通过 nc 这个小工具, yum 一把就可以了, nc_1k_888 可以往上面打数据。