开发者社区> 问答> 正文

Spark Streaming Driver端重启会发生什么?

Spark Streaming Driver端重启会发生什么?

展开
收起
芯在这 2021-12-07 22:50:29 320 0
1 条回答
写回答
取消 提交回答
  • 恢复计算:使用检查点信息重启 Driver 端,重构上下文并重启接收器

    恢复元数据块:为了保证能够继续下去所必备的全部元数据块都被恢复

    未完成作业的重新形成:由于失败而没有处理完成的批处理,将使用恢复的元数据再次产生 RDD 和对应的作业

    读取保存在日志中的块数据:在这些作业执行的时候,块数据直接从预写日志中读出,这将恢复在日志中可靠地保存所有必要的数据

    重发尚未确认的数据:失败时没有保存到日志中的缓存数据将由数据源再次发送

    2021-12-07 22:50:41
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载