开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink版本17.2 , mysql5.7, flinkcdc 2.4.1?什么原因?

flink版本17.2 , mysql5.7, flinkcdc 2.4.1?currentEmitEventTimeLag没有值,但是 currentFetchEventTimeLag是正常显示的。

展开
收起
真的很搞笑 2023-12-19 08:08:44 179 0
2 条回答
写回答
取消 提交回答
  • 在Apache Flink 1.7.2版本中使用Flink CDC 2.4.1读取MySQL 5.7的数据时,currentFetchEventTimeLagcurrentEmitEventTimeLag是监控指标,它们分别代表了源端(MySQL)数据的拉取延迟和当前事件被发射(emit)到下游算子的延迟。

    • currentFetchEventTimeLag:表示从MySQL获取最新事件的时间戳与当前系统时间之间的延迟。如果这个值正常显示,说明Flink CDC能够正确地从MySQL Binlog中获取变更事件,并且能够反映其获取数据的实时性。

    • currentEmitEventTimeLag:通常表示的是从源算子接收到事件到实际将该事件发出并处理的时间差。如果没有显示任何值,可能的原因有:

      • 你的作业配置中并未开启事件时间或者处理时间相关的水印生成及延迟统计功能。
      • 如果你的Flink作业没有基于事件时间进行窗口或触发操作,那么可能不会计算和报告currentEmitEventTimeLag,因为在这种情况下事件的发射并不依赖于事件时间的概念。
      • 另外,在Flink CDC连接器中,对于MySQL CDC这样的源,如果事件本身不携带事件时间属性,或者没有启用相应的事件时间处理机制,也可能导致currentEmitEventTimeLag无值。

    要解决这个问题,请检查你的Flink作业配置和CDC源的配置,确保正确设置了事件时间和水印策略,以便可以正确计算并展示currentEmitEventTimeLag

    2023-12-30 12:32:09
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个问题可能是由于Flink CDC的bug导致的。在Flink 17.2中,currentEmitEventTimeLag的值可能没有正确更新。你可以尝试以下方法来解决这个问题:

    1. 确保你的Flink CDC版本是最新的。你可以查看Flink CDC的官方文档,了解是否有已知的问题和修复方案。

    2. 检查你的Flink配置。确保你的Flink配置是正确的,特别是关于时间戳的处理部分。你可以在Flink配置文件(flink-conf.yaml)中查找相关的设置。

    3. 尝试升级MySQL版本。虽然你使用的是MySQL 5.7,但是Flink CDC可能需要更高的MySQL版本才能正常工作。你可以考虑升级到MySQL 8.0或更高版本。

    4. 如果以上方法都无法解决问题,你可以考虑使用其他数据同步工具,如Debezium或者Kafka Connect。这些工具可能对Flink CDC的支持更好。

    2023-12-19 14:31:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像