开发者社区> 问答> 正文

Flink实现Kafka到Mysql的 End-To-End Exactly-Once中遇到的问题

最近是实现Kafka到Mysql的 End-To-End Exactly-Once中遇到以下2个问题: 1:com.mysql.jdbc.exceptions.jdbc4.MySQLNonTransientConnectionException: Communications link failure during commit(). Transaction resolution unknown. 2:org.apache.flink.streaming.runtime.tasks.TimerException: org.apache.flink.streaming.runtime.tasks.ExceptionInChainedOperatorException: Could not forward element to next operator

已经做了一个最简单的复现问题的demo,求指教 git clone https://github.com/lusecond/flink_help --depth=1

测试过程中,发现继承TwoPhaseCommitSinkFunction类的4个重写方法beginTransaction、preCommit、commit、abort 分别在不同的线程工作,怀疑过因为线程切换导致jdbc的事务提交出问题,已经做过相关测试排除不是由此引起的问题*来自志愿者整理的flink邮件归档

展开
收起
EXCEED 2021-12-08 11:28:39 821 0
1 条回答
写回答
取消 提交回答
  • 是否可以尝试使用幂等来解决 端到端的一致性*来自志愿者整理的flink邮件归档

    2021-12-08 14:23:36
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载

相关镜像