Flink CDC 中streampark提交的任务总是会执行两遍，怎么办？

在使用 StreamPark 提交 Flink CDC 任务时，如果发现任务总是执行两遍，可能是由于以下原因导致的。以下是详细的分析和解决方法：

1. 检查 StreamPark 的任务提交逻辑

StreamPark 是一个用于管理 Flink 任务的平台，它可能会在任务提交过程中触发重复的操作。例如： - 任务重复提交：StreamPark 可能会因为配置问题或用户操作不当，导致同一个任务被提交两次。 - 任务重启策略：Flink 默认的重启策略可能导致任务在失败后重新启动，从而看起来像是执行了两遍。

解决方法：

• 检查 StreamPark 的任务提交日志，确认是否存在重复提交的情况。
• 如果是重启策略导致的问题，可以通过修改 Flink 配置来限制重启次数。例如，设置以下参数以避免无限重启：

  restart-strategy: fixed-delay
  restart-strategy.fixed-delay.attempts: 2
  restart-strategy.fixed-delay.delay: 10s
  

  这样可以确保任务在失败两次后彻底退出，而不是持续重启。

2. 检查 Flink CDC 的数据源配置

Flink CDC 在某些情况下可能会产生重复的数据变更事件（例如 at-least-once 语义下的故障恢复）。这可能导致下游任务处理了重复的数据，从而看起来像是任务执行了两遍。

解决方法：

• 确保 Flink CDC 数据源的投递语义为 exactly-once。如果无法保证 exactly-once，需要对重复数据进行去重处理。
• 在 Flink 作业中启用去重机制，通过设置以下参数来对变更事件进行去重：

  table.exec.source.cdc-events-duplicate: true
  

  同时，在源表上定义主键（PRIMARY KEY），Flink 会生成一个额外的有状态算子（ChangelogNormalize），利用主键对变更事件进行去重并生成规范化的变更日志流。

3. 检查 StreamPark 和 Flink 的版本兼容性

StreamPark 和 Flink 的版本可能存在兼容性问题，导致任务提交或执行过程中出现异常行为。

解决方法：

• 确认 StreamPark 和 Flink 的版本是否匹配。如果不匹配，建议升级到兼容的版本。
• 查看 StreamPark 和 Flink 的官方文档，了解是否存在已知的兼容性问题。

4. 排查任务的 Checkpoint 配置

如果任务在运行过程中触发了 Checkpoint，并且 Checkpoint 失败或超时，可能会导致任务重新启动，从而看起来像是执行了两遍。

解决方法：

• 调整 Checkpoint 的时间间隔和超时时间，避免因 Checkpoint 失败导致任务重启。例如：

  execution.checkpointing.interval: 10min
  execution.checkpointing.tolerable-failed-checkpoints: 100
  

• 如果任务停止时选择做快照停止，可能会比较慢。建议在停止前手动做一次快照，然后直接停止任务。

5. 检查任务的并行度和资源分配

如果任务的并行度设置过高，或者资源分配不足，可能会导致任务在运行过程中出现异常行为。

解决方法：

• 检查任务的并行度设置，确保其与集群资源相匹配。
• 增加 TaskManager 的资源分配，避免因资源不足导致任务异常。

6. 其他可能的原因

• StreamPark 的调度机制：StreamPark 可能会在某些情况下自动触发任务的重新调度，导致任务执行两遍。
• Flink 的状态管理：如果任务的状态管理出现问题（例如状态未正确清理），可能会导致任务重复执行。

解决方法：

• 检查 StreamPark 的调度配置，确保没有重复调度的情况。
• 在任务启动前，手动清理旧的状态，避免状态残留导致任务重复执行。

总结

通过以上步骤，您可以逐步排查并解决 Flink CDC 任务在 StreamPark 中执行两遍的问题。重点在于： 1. 检查任务提交逻辑，避免重复提交。 2. 优化 Flink CDC 的去重机制，确保数据一致性。 3. 调整 Checkpoint 和重启策略，避免任务异常重启。 4. 确认版本兼容性和资源配置，确保任务稳定运行。

如果问题仍然存在，建议联系阿里云技术支持团队，提供详细的日志和配置信息以便进一步分析。