暂无个人介绍
2021年12月
1、初始过程 --->(对应的任务状态) created
2、被调度,开始申请资源 ---> scheduled
3、申请到资源,开始部署 ---> deploying
4、TE通知JM部署成功 ---> running
1、节省调度花费的时间
2、避免不必要资源的浪费
3、知道同时运行的作业的资源量,以此进行更深度的优化
本次checkpoint中会包含一些属于下个checkpoint的数据,恢复后由于source会rewind,部分数据会有重复处理,从而变成at-least-once
需要master节点端的checkpoint coordinator收到所有任务的确认
1、尽量减少快照带来的数据处理停顿
2、支持多个checkpoint同时进行
1、Source保存其输入数据的offsets
2、算子保存其state
3、事务型Sink节点对已有事务提交pre-commoit
1、将数据源位置重新设定
2、每一个算子从检查点恢复状态
1、事务型的sink
2、可以接受幂等的产出结果
每条event会对state产生最多一次影响,注意:所有状态会在出错时丢失
每条event会对state产生最少一次影响(存在重复处理)
每条event会且只会对state产生一次影响,注意:并非端到端的严格一次
1、Exactly once(严格一次)
2、At least once(最少一次)
3、At most once(最多一次)
Chandy-Lamport支持强连通图,而Flink面向弱连通图
Flink采用的是一种裁剪的Chandy-Lamport异步快照算法
1、所有进程都已经收到了marker并记录了本地快照
2、所有进程都从N-1个input channel 里收到了marker并记录了这些input channel 的状态
3、快照收集器可以开始收集每个部分的快照并形成全局一致性快照
1、记录本地状态(本地快照)
2、向output channel发送marker消息
3、开始记录所有input channel 的消息
1、发起快照
2、分布式执行快照
3、终止快照
1、消息有序且不重复
2、消息可靠性可以保障
1、快照过程不影响应用运行
2、每个进程可以记录自己的本地状态
3、可以分布式的对记录的状态进行收集
4、任意进程都可以发起快照
1、时钟偏差
2、Stop-the-world,影响应用运行