Flink CDC这个有什么影响吗？

Flink CDC这个有什么影响吗？想监听6个表，他们的主表外键是一个。我想监听到变更以后，把union成视图后关联主表同步出去，用的union 就提示Unable to register metrics as an old set with the same name exists这个？14:33:49,824 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Completed checkpoint 2 for job 7a0969df757939e6aa25783f1e507a10 (2607 bytes, checkpointDuration=21 ms, finalizationTime=4 ms).
14:33:49,824 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 2
14:33:49,825 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 2
14:33:49,825 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 2
14:33:53,985 WARN io.debezium.metrics.Metrics [] - Unable to register metrics as an old set with the same name exists, retrying in PT5S (attempt 4 out of 12)
14:33:53,985 WARN io.debezium.metrics.Metrics [] - Unable to register metrics as an old set with the same name exists, retrying in PT5S (attempt 4 out of 12)
14:33:53,985 WARN io.debezium.metrics.Metrics [] - Unable to register metrics as an old set with the same name exists, retrying in PT5S (attempt 4 out of 12)
14:33:55,825 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 3 (type=CheckpointType{name='Checkpoint', sharingFilesStrategy=FORWARD_BACKWARD}) @ 1701844435824 for job 7a0969df757939e6aa25783f1e507a10.
14:33:55,843 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Completed checkpoint 3 for job 7a0969df757939e6aa25783f1e507a10 (2607 bytes, checkpointDuration=18 ms, finalizationTime=1 ms).
14:33:55,844 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 3
14:33:55,845 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 3
14:33:55,845 WARN com.ververica.cdc.debezium.DebeziumSourceFunction [] - Consumer subtask 0 received confirmation for unknown checkpoint id 3然后一直提示这个。

展开

收起

真的很搞笑 2023-12-10 20:54:33 255 0

2 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
从日志中可以看出，Flink CDC 在尝试注册指标时遇到了问题。这可能是由于指标名称已经存在导致的。你可以尝试以下方法解决这个问题：
1. 检查你的 Flink CDC 配置，确保没有重复的指标名称。如果有重复的名称，请修改其中一个以避免冲突。
2. 如果问题仍然存在，你可以尝试重启 Flink CDC 和相关的 Flink 任务。这可能会解决由于指标名称冲突导致的问题。
3. 如果以上方法都无法解决问题，你可以考虑使用其他指标系统（如 Prometheus）来收集 Flink CDC 的指标，而不是使用默认的指标系统。这样可以避免指标名称冲突的问题。
2023-12-11 16:25:51

赞同展开评论打赏
1941623231718325

Flink CDC (Change Data Capture) 是 Apache Flink 提供的一种用于捕获数据库变更数据并实时处理的技术。从你的描述来看，你可能在使用 Flink CDC 监听 MySQL 等关系型数据库的表变化，并将这些变化同步到其他系统。

你遇到的问题 "Unable to register metrics as an old set with the same name exists" 可能是因为 Debezium（Flink CDC 使用的一个组件）在尝试注册度量指标时遇到了冲突。这个问题通常不会影响程序的运行，但可能会导致一些度量指标无法正确显示。

关于 "Consumer subtask 0 received confirmation for unknown checkpoint id" 的警告信息，这可能是由于 Flink CDC 源函数和 CheckpointCoordinator 之间的协调问题。这种警告通常是暂时的，你可以尝试重启 Flink 任务看是否可以解决这个问题。

如果你希望监听多个表并将它们合并成视图后再关联主表进行同步，你需要确保你在 Flink SQL 中正确地定义了 TableSource 和 TableSink。你可以在 Flink SQL 中使用 UNION ALL 或者 JOIN 等操作来组合多个表的数据。

最后，建议你检查一下 Flink CDC 的配置是否正确，例如 Debezium Connector 配置、MySQL 数据库连接参数等。

2023-12-11 09:29:16

赞同 1 展开评论打赏