Flink CDC怎么看增量阶段是否到最新位置呢?

Flink CDC怎么看增量阶段是否到最新位置呢?我尝试使用show master status;来查看Mysql端的最新binlog文件 是binlog.122804日志中正在打印的是binlog.122611,binlog的大小一共24g,我觉得应该很快就呢个消费完成现在有个疑惑就是从带宽上来看,已经binlog已经消费到了最新的位置271e7c65ac862e3a304c0369738f746a.png
但是从日志上来看,还没有达到最新位置,而且节点的使用率还很高6c63435da84eb78490854db09c3c4383.png

展开
收起
真的很搞笑 2023-10-23 15:16:25 189 分享 版权
1 条回答
写回答
取消 提交回答
  • 要查看Flink CDC的增量阶段是否已经到达最新位置,可以通过以下步骤进行确认:

    1. 在Flink任务管理器中查看当前消费的位置,可以使用show source status;命令。
    2. 在MySQL中使用SHOW MASTER STATUS;命令查看当前正在写入的binlog文件名和位置。
    3. 比较Flink CDC消费的位置和MySQL中binlog的位置,如果两者相同,则说明Flink CDC已经消费到了最新的位置。

    另外,从带宽上来看,如果binlog文件已经被消费到最新位置,那么Flink CDC应该也已经消费到了最新位置。但是需要注意的是,由于网络延迟等原因,可能会存在一定的延迟,因此建议等待一段时间再进行确认。

    2023-10-23 16:42:45
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理