flink cdc 从timestamp起,过了好久才能读到数据 怎么回事,有遇到过吗?

flink cdc 从timestamp起,过了好久才能读到数据 怎么回事,有大佬遇到过吗?

展开
收起
真的很搞笑 2023-11-06 19:58:22 88 分享 版权
2 条回答
写回答
取消 提交回答
  • checkpoint时间太长了,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:41:05
    赞同 展开评论
  • 在使用Flink CDC时,如果从Timestamp开始读取数据,但过了很久才能读到数据,可能是由于以下几个原因:

    1. 数据源问题:请确保数据源(如Oracle、MySQL等)中存在数据,并且Flink CDC已正确配置了数据源连接。

    2. 时间戳格式问题:请确保时间戳格式与数据源中的时间戳格式一致。如果时间戳格式不一致,则Flink CDC可能无法正确读取数据。

    3. 数据类型问题:请确保时间戳数据类型与数据源中的时间戳数据类型一致。如果时间戳数据类型不一致,则Flink CDC可能无法正确读取数据。

    4. 数据库配置问题:请确保数据源数据库的配置正确,并且Flink CDC已正确配置了数据库连接。

    5. 数据库表结构变更:如果在Flink CDC开始采集之后,数据源表结构发生了变更,则可能会导致Flink CDC无法正确读取数据。

    建议你在遇到这个问题时,首先检查上述的几个方面,看是否存在问题。如果问题仍然存在,可能需要进一步检查和调试。

    2023-11-07 11:31:04
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理