开发者社区> 问答> 正文

如果下级存储不支持事务,Flink 要怎么保证 exactly-once?

如果下级存储不支持事务,Flink 要怎么保证 exactly-once?

展开
收起
游客4iodw4vsbx244 2021-12-08 17:20:53 752 0
1 条回答
写回答
取消 提交回答
  • 端到端的 exactly-once 对 sink 要求比较高,具体实现主要有幂等写入和事务性写入两种方式。

    幂等写入的场景依赖于业务逻辑,更常见的是用事务性写入。而事务性写入又有预写日志(WAL)和两阶段提交(2PC)两种方式。

    如果外部系统不支持事务,那么可以用预写日志的方式,把结果数据先当成状态保存,然后在收到 checkpoint 完成的通知时,一次性写入 sink 系统。

    2021-12-08 17:21:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 覃立辉 立即下载
Flink CDC Meetup PPT - 孙家宝 立即下载
Flink CDC Meetup PPT - 徐榜江 立即下载