开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

使用flinkcdc 2.4.1从时间戳启动的时候,我想输出前三天的数据,有最近七天的?

使用flinkcdc 2.4.1从时间戳启动的时候,我想输出前三天的数据,但是实际数据只有最近一天半的数据,查看数据库Binlog文件,都是全的,有最近七天的?

展开
收起
真的很搞笑 2023-11-07 08:05:06 83 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果在 Flink CDC 2.4.1 中从时间戳启动,并且想要输出三天的数据,但实际上只有最近一天半的数据,则可能是由于 Flink CDC 的初始化时间戳设置不合理导致的。可以按照以下步骤进行排查:

    1. 检查初始时间戳设置:请确认您的时间戳是否正确设置,一般情况下 Flink CDC 初始化时间戳是指定了一个 SCN 或者时间段。如果是的话,请确认该时间戳的时间范围。
    2. 检查 Oracle 的日志信息:如果您设置了 SCN,则请查看 Oracle 数据库中的 scn 时间戳,确认其是否符合预期。
    3. 查看 binlog 文件中的数据:可以查看 binlog 文件的内容,看看是否有完整的历史数据。如果 binlog 文件中的数据不足,请检查 binlog 文件大小限制。
    4. 其他情况:检查其他可能导致数据缺失的因素,如权限问题、连接问题等。
    2023-11-07 14:31:45
    赞同 1 展开评论 打赏
  • 这个问题可能是由于Flink CDC在处理Binlog文件时,只读取了最近三天内的数据。这可能是因为你的Flink任务配置了只读取最近三天内的Binlog文件,或者是因为Flink在读取Binlog文件时遇到了一些问题,导致它无法读取到所有的Binlog文件。

    你可以尝试以下几种方法来解决这个问题:

    1. 检查你的Flink任务的配置,确保它配置的是正确的Binlog文件路径,以及正确的Binlog文件读取范围。

    2. 如果你的Flink任务已经正确配置,但是仍然无法读取到所有的Binlog文件,那么可能是Flink在读取Binlog文件时遇到了一些问题。你可以尝试重启你的Flink任务,看看是否可以解决问题。

    3. 你也可以尝试使用其他的CDC工具,例如Debezium,Canal等,这些工具通常都支持自定义Binlog文件的读取范围。

    2023-11-07 10:16:52
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载