开发者社区> 问答> 正文

如果下级存储不支持事务,Flink 是怎么保证 exactly-once的呢?

如果下级存储不支持事务,Flink 是怎么保证 exactly-once的呢?

展开
收起
游客vwuxaq6iqaowc 2021-12-08 14:54:36 782 0
1 条回答
写回答
取消 提交回答
  • 端到端的 exactly-once 对 sink 要求比较高,具体实现主要有幂等写入和 事务性写入两种方式。幂等写入的场景依赖于业务逻辑,更常见的是用事务性写入。 而事务性写入又有预写日志(WAL)和两阶段提交(2PC)两种方式。 如果外部系统不支持事务,那么可以用预写日志的方式,把结果数据先当成状 态保存,然后在收到 checkpoint 完成的通知时,一次性写入 sink 系统

    2021-12-08 14:54:52
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载