Flink CDC中mysql cdc经常出现这个问题？

Flink CDC中mysql cdc经常出现这个问题？Caused by: com.github.shyiko.mysql.binlog.event.deserialization.EventDataDeserializationException: Failed to deserialize data of EventHeaderV4{timestamp=1699418446000, eventType=UPDATE_ROWS, serverId=491473306, headerLength=19, dataLength=6761, nextPosition=176286618, flags=0}设置了参数后虽然任务没失败但是一直在restaring？网上大部分说是网络问题但是让基础网络的看了下说是稳定的一直被这个问题困扰execution.checkpointing.interval=10min
execution.checkpointing.tolerable-failed-checkpoints=100
restart-strategy=fixed-delay
restart-strategy.fixed-delay.attempts=2147483647
restart-strategy.fixed-delay.delay= 30s，这些参数都设置了一直在重启 flink任务也不失败一直在restaring

展开

收起

真的很搞笑 2023-11-16 07:54:02 87 0

2 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
如果 Flink CDC 一直无法正常运行，并且网络状况良好，则可能与以下因素有关：
1. 系统资源紧张：Flink CDC 需要足够的系统资源才能正常运行，包括 CPU、内存、磁盘空间和其他资源。如果系统资源紧张，则可能导致任务重启。
2. 数据流过多：如果 CDC 数据流过多，则可能导致任务负担过大而重启。
3. 代码错误或 bug：如果您的代码中有错误或 bug，则可能导致任务无法正常运行。
2023-11-16 13:32:44

赞同 1 展开评论打赏
sunrr
这个问题可能是由于Flink集群的网络配置或者资源限制导致的。以下是一些可能的解决方案：
1. 检查Flink集群的网络配置，确保所有的节点都可以正常地访问MySQL数据库。
2. 检查Flink集群的资源限制，确保有足够的内存和CPU资源来运行你的Job。
3. 检查Flink集群的日志，看是否有其他的错误信息。
4. 尝试增加Flink集群的并行度，看是否可以解决这个问题。
5. 如果以上的方法都无法解决问题，那么可能需要查看Flink的官方文档，或者向Flink的技术支持团队寻求帮助。
关于你设置的参数，看起来都是合理的，但是可能还需要进一步的调整。例如，你可能需要尝试减小checkpointing的间隔，或者增加tolerable-failed-checkpoints的数量，看看是否可以解决问题。
2023-11-16 10:20:23

赞同展开评论打赏