开发者社区> 问答> 正文

请问目前flink sql是不是不能没有开启全局端到端精确一致性(eos)的方 式呀?

请问目前flink sql是不是不能没有开启全局端到端精确一致性(eos)的方 式,

目前仅有kafka实现了TwoPhaseCommitSinkFunction,但kafka的ddl中也没有属性去设 置Semantic为EXACTLY_ONCE

我们是否可以去支持更多的事务性connector,并可以在flink sql维度支持开启全局的 端到端一致性,并为每个connector是否支持EXACTLY_ONCE进行验证,

当开启全局EXACTLY_ONCE并且所有使用的connector都支持EXACTLY_ONCE,是否整个应 用程序就可以做到端到端的精确一致性*来自志愿者整理的flink邮件归档

展开
收起
彗星halation 2021-12-08 10:36:49 1294 0
1 条回答
写回答
取消 提交回答
  • 除了Kafka还有filesystem connector也是支持 EXACTLY ONCE的,kafka 的已经在1.12支持了[1],当开启全局EXACTLY_ONCE并且所有使用的connector都支持EXACTLY_ONCE,整个应

    用程序是可以做到端到端的精确一致性的。 *来自志愿者整理的flink

    2021-12-08 11:10:28
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
SQL Server在电子商务中的应用与实践 立即下载
GeoMesa on Spark SQL 立即下载
原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载