什么是Flink 写入机制？

Flink 作为一个分布式处理引擎，提供了基于事务的 Sink 机制，该机制可以保障写入的 Exactly-Once，相应的数据接收方需要提供遵守 XA 规范的 JDBC 。由于完整的 XA 规范相当复杂，因此，我们先对 Flink 的处理机制进行梳理，结合 ClickHouse 的实际情况，确定需要实现的接口范围。 为了实现分布式写入时的事务提交统一，Flink 借助了 checkpoint 机制。该机制能够周期性地将各个 Operator 中的状态生成快照并进行持久化存储。在 checkpoint 机制中，有一个 Coordinator 角色，用来协调所有 Operator 的行为。从 Operator 的角度来看，一次 checkpoint 有三个阶段，初始化-->生成快照-->完成/废弃 checkpoint。从Coordinator的角度来看，需要定时触发 checkpoint，以及在所有 Operator 完成快照后，触发 complete 通知。