开发者社区> 问答> 正文

如果下级存储不支持事务,Flink 具体怎么保证 exactly-once呢?

如果下级存储不支持事务,Flink 具体怎么保证 exactly-once呢?

展开
收起
游客5ixw6pdymb5xs 2021-12-10 17:24:26 683 0
1 条回答
写回答
取消 提交回答
  • 端到端的 exactly-once 对 sink 要求比较高,具体实现主要有幂等写入和 事务性写入两种方式。幂等写入的场景依赖于业务逻辑,更常见的是用事务性写入。而事务性写入又有预写日志(WAL)和两阶段提交(2PC)两种方式。

        如果外部系统不支持事务,那么可以用预写日志的方式,把结果数据先当成状态保存,然后在收到 checkpoint 完成的通知时,一次性写入 sink 系统。
    
    2021-12-10 17:25:07
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载