Flink这个问题怎么解决?binlog是mysql数据库实例级别的吧,有两个表,表1和表2,表1和表2的数据都会在一个binlog文件里,我flink-sql配置的是监听表1,但是由于表2进行了大量的删除数据,影响到了表1的任务,任务延迟很大。并且任务是无反压和负载的,只是source端延迟巨大。
目前Flink CDC不支持跳过指定的表,因此无法避免影响表1的这种情况。
一种可能的解决方法是在MySQL侧进行过滤,例如创建一个只包含表1相关事件的binlog流
另一种可能的解决方案是尝试优化您的Flink任务,比如增加并行度或者使用更强大的硬件资源来提高处理能力,从而减少任务延迟。此回答整理自钉群“实时计算Flink产品交流群”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。