图 1 Spark Streaming 架构图
Spark Streaming 组件介绍：
Network Input Tracker ： 通 过 接 收 器 接 收 流 数 据， 并 将 流 数 据 映 射 为 输 入DStream。
Job Scheduler ：周期性地查询 DStream 图，通过输入的流数据生成 Spark Job，将 Spark Job 提交给 Job Manager 进行执行。
JobManager：维护一个 Job 队列，将队列中的 Job 提交到 Spark 进行执行。
通 过 图 1 可 以 看 到 D-Stream Lineage Graph 进 行 整 体 的 流 数 据 的 DAG 图 调度， Taskscheduler 负责具体的任务分发， Block tracker 进行块管理。在从节点，如果是通过网络输入的流数据会将数据存储两份进行容错。 Input receiver 源源不断地接收输入流， Task execution 负责执行主节点分发的任务， Block manager 负责块管理。 SparkStreaming 整体架构和 Spark 很相近，很多思想是可以迁移理解的。
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5725358.html，如需转载请自行联系原作者
