在flink 1.11.1 使用mysql作为维表进行temporal join时,出问题
在flink 1.11.1 使用mysql作为维表进行temporal join时,大部分时间都能正常join,偶尔会出现mysql连接超时的情况,此时程序直接抛出异常,这条数据就不能被正确的更新到sink 表里面,请问对于这个情况有解决方案吗?*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
我理解这边有 2 个问题： 1. “偶尔会出现连接超时”，这个的话有具体的堆栈吗。如果是因为长时间没有数据的查询导致 connection invalid 话，这个在1.12，1.11.3 中应该是解决了[1]. 2. 你的 source 是什么组件呢？程序抛异常的话，自动重启或者手动重启话，如果是 “最少一次” 语义的话，应该还是会 join 上 sink 到下游的；或者可以开启 checkpoint，保证 flink 内部的 “精确一次”。
[1] https://issues.apache.org/jira/browse/FLINK-16681*来自志愿者整理的flink邮件归档
2021-12-07 11:38:01赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
