开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个问题怎么解决?

Flink这个问题怎么解决?binlog是mysql数据库实例级别的吧,有两个表,表1和表2,表1和表2的数据都会在一个binlog文件里,我flink-sql配置的是监听表1,但是由于表2进行了大量的删除数据,影响到了表1的任务,任务延迟很大。并且任务是无反压和负载的,只是source端延迟巨大。

展开
收起
三分钟热度的鱼 2024-04-03 19:23:35 27 0
1 条回答
写回答
取消 提交回答
  • 目前Flink CDC不支持跳过指定的表,因此无法避免影响表1的这种情况。
    一种可能的解决方法是在MySQL侧进行过滤,例如创建一个只包含表1相关事件的binlog流
    另一种可能的解决方案是尝试优化您的Flink任务,比如增加并行度或者使用更强大的硬件资源来提高处理能力,从而减少任务延迟。此回答整理自钉群“实时计算Flink产品交流群”

    2024-04-03 20:08:53
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载