请问一下Flink,我进行双流join之后,为什么右表的数据没有了啊? 正常应该是有数据能匹配上的,是我有什么配置没有配吗?在sql里这个配置能更改吗?
超过了这个时间没数据更新,右边就会匹配不到,state有默认存储时间的.这个是不好的,state时间越长,状态越大,推荐维表join,双流join推荐的是双方数据在默认的ttl内都有更新过来,如果你的维表数据不大,flink 1.18 SQL中可以对不同流的的ttl设置存储时间.你的flink如果不是1.18 ,推荐用维表join,维表join是根据a表的时间去实时去数据库拿取,当然你也可以设置缓存,此回答整理自钉群“【③群】Apache Flink China社区”
如果你在 Apache Flink 中进行了双流 Join 之后,发现右表的数据不见了,请检查以下内容:
你可以尝试以下解决方案:
另外,Flink SQL 提供了一些配置选项来处理这些问题,例如 timeCharacteristic
和 eventTimeWatermark
等,你可以在 SQL 代码中设置这些参数来更改 Join 行为。但是,你还需要确保其他设置(例如 watermarkStrategy
和 allowedLateness
)是正确的。
在Flink中进行双流join操作时,右表的数据没有了可能是由于以下原因:
为了解决上述问题,您可以尝试以下方法:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。