开发者社区> 问答> 正文

在flink 1.11.1 使用mysql作为维表进行temporal join时,出问题

在flink 1.11.1 使用mysql作为维表进行temporal join时,大部分时间都能正常join,偶尔会出现mysql连接超时的情况,此时程序直接抛出异常,这条数据就不能被正确的更新到sink 表里面,请问对于这个情况有解决方案吗?*来自志愿者整理的flink邮件归档

展开
收起
小阿怪 2021-12-07 10:17:51 936 0
1 条回答
写回答
取消 提交回答
  • 我理解这边有 2 个问题: 1. “偶尔会出现连接超时”,这个的话有具体的堆栈吗。如果是因为长时间没有数据的查询导致 connection invalid 话,这个在1.12,1.11.3 中应该是解决了[1]. 2. 你的 source 是什么组件呢?程序抛异常的话,自动重启或者手动重启话,如果是 “最少一次” 语义的话,应该还是会 join 上 sink 到下游的;或者可以开启 checkpoint,保证 flink 内部的 “精确一次”。

    [1] https://issues.apache.org/jira/browse/FLINK-16681*来自志愿者整理的flink邮件归档

    2021-12-07 11:38:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
One Box: 解读事务与分析一体化数据库 HybridDB for MySQL 立即下载
One Box:解读事务与分析一体化数据库HybridDB for MySQL 立即下载
如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进 立即下载

相关镜像