开发者社区> 问答> 正文

StreamingContext启动时序图吗?

StreamingContext启动时序图吗?

展开
收起
xin在这 2021-12-07 22:48:21 232 0
1 条回答
写回答
取消 提交回答
  • 初始化 StreamingContext 中的 DStreamGraph 和 JobScheduler,进而启动 JobScheduler 的 ReceiveTracker 和 JobGenerator。

    初始化阶段会进行成员变量的初始化,重要的包括 DStreamGraph(包含 DStream 之间相互依赖的有向无环图),JobScheduler(定时查看 DStreamGraph,然后根据流入的数据生成运行作业),StreamingTab(在 Spark Streaming 运行的时候对流数据处理的监控)。

    然后就是创建 InputDStream,接着就是对 InputDStream 进行 flatMap, map, reduceByKey, print 等操作,类似于 RDD 的转换操作。

    启动 JobScheduler,实例化并启动 ReceiveTracker 和 JobGenerator。

    启动 JobGenerator

    启动 ReceiverTracker

    2021-12-07 22:48:35
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载