开发者社区> 问答> 正文

flink batch on yarn任务容错了怎么办?

使用stream是否可以使任务因为单个tm失败的情况下,只重启这个tm,而非重启整个任务?

*来自志愿者整理的flink邮件归档

展开
收起
毛毛虫雨 2021-12-06 16:18:07 611 0
1 条回答
写回答
取消 提交回答
  • 1.10后的Flink是支持单task的failover的,(需要batch shuffle和region调度)

    所以容错粒度是基于单task。 批作业的Failover模型和流是不一样的。它就是基于单task,如果想要达到较好的容错,可以开更大的并行度,这样单task执行的时间会越短,failover效率也就会越高。

    *来自志愿者整理的flink邮件归档

    2021-12-06 16:49:06
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载