Fault-tolerance in Flink

Fault-tolerance in Flink | 学习笔记（二）

2022-11-22 100

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

实时计算 Flink 版，5000CU*H 3个月

简介： 快速学习 Fault-tolerance in Flink

开发者学堂课程【开源 Flink 极客训练营：Fault-tolerance in Flink】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/760/detail/13340

5.异步全局一致性快照算法-Chandy-Lamport

System Requirement

快照过程不影响应用运行

-快照过程中不影响收发消息

-快照过程中不需要停止应用进程每个进程可以记录自己的本地状态可以分布式的对记录的状态进行收集任意进程都可以发起快照

前提条件:nomessageloss/corruption/duplication

-消息有序且不重复(channels are FIFO)

-消息可靠性可以保障

Chandy-Lamport 有两个分布式领域教授他们两在吃饭时提出了一个问题，怎样做异步的全局一致性快照，当天两人喝酒喝多了没有讨论出结果。Lamport 回家睡了，第二天起来后洗澡，在洗澡过程中想到了算法很高兴、很兴奋，随便吃点东西跑到了 Chandy 的办公室，发现 Chandy 准备好了一样的算法等他，最后两人联合发表算法，所有名称为 Chandy-Lamport。

Chandy-Lamport算法流程

发起快照、分布式执行快照、终止快照

发起快照

图片55.png

任意流程都能发起快照，由P₁发起快照。

第一步记录本地状态，对本地进行快照，快照后立刻马上没有间隔的向 output channel 发送 marker 消息。marker 消息是特殊消息不同于应用发送的消息。

P₁开始记录所有 input channel 的消息，例子里一共两个进程，开始记录C₂₁进程的消息。

分布式执行快照:当P₁接收到来自C_ki的marker消息(即P_k发给P_i的marker)

如果这是P_i看到的第一个其他管道的marker消息

-P_i记录本地状态(本地快照)

-P_i标记C₁₂管道为空，后续再从P₁发送消息不包含在C的消息快照里。

-P_i立刻马上没有间隔的向所有 output channel 发送marker消息

-P_i开始记录所有除C_ki之外的input channel消息

(即后续所有来自C的消息不再包含进此次快照)

图片56.png

如果此前P_i已经收到过 marker 消息

-P_i记停止记录C_ki的消息，同时将此前记录的所有C_ki收到的消息作为C_ki在本次快照中的最终状态，进行保存。

图片57.png

终止快照

-所有进程都已经接收到了 marker 消息并记录了本地快照

-所有进程都从N-1个 input channel 里收到了 marker 并记录了这些 input channel 的状态(消息)

-快照收集器(central server)可以开始收集每个部分的快照并形成全局一致性快照

Chandy-Lamport 算法-演示

图片58.png

三个进程的例子，有一些状态是在内部发生的比如A状态与其他进程没有交互，对它进行扩展，认为内部的状态是P₁发给自己的消息。或者认为C₁₁是从A到A。

图片59.png

假设在P₁发起快照，对本地的状态进行快照，叫做S₁。然后立刻马上向所有的 outout channel,也就是P₂和P₃分别发送 marker 消息。接下来记录所有 input channel 消息。例子里管道2管道3包括自身的消息。P₃先收到 marker 消息，P₃与P₂收到消息时间有差异，物理环境里分布式进程不同时间点之间网络状况不一样，这种情况导致消息到达的时间不同。是P3收到的第一个 marker 消息，首先对自己本地状态进行拍照，与此同时向所有的 output channel 发送 marker 消息，将除了C₁₃之外所有 input channel 的消息开始进行记录。