Flink CDC 从checkpoint启动写入失败有大佬遇见没

遇到错误 org.apache.doris.flink.exception.DorisRuntimeException: Commit failed { "status": "Fail", "msg": "errCode = 2, detailMessage = transaction [613390] not found" } 在使用 Flink CDC 从 MySQL 同步数据到 Doris 时，这表明在提交事务到 Doris 时出现了问题，具体是事务未找到的错误。根据此错误信息和参考资料，可以尝试以下解决步骤：

问题分析

• 错误描述：Doris 报告事务未找到错误，说明 Flink 在尝试提交数据变更时，对应的事务在 Doris 端没有记录或已丢失。
• 可能原因：
  • 网络不稳定导致事务提交消息丢失。
  • Doris 集群状态异常，如重启、故障转移期间丢失事务信息。
  • Flink 任务与 Doris 集群时间不一致，导致事务超时被清理。

解决方案

1. 检查网络连接：

   • 确保 Flink 作业运行环境与 Doris 集群之间的网络稳定无丢包，可以通过 ping 测试和查看网络监控来验证。

2. Doris 集群健康检查：

   • 登录 Doris 集群管理界面或使用命令行工具检查集群状态，确认所有节点均正常运行且无异常日志。
   • 检查 Doris 配置中的事务保留时间（transaction retention time），确保其足够长以覆盖任何可能的处理延迟。

3. 时间同步校验：

   • 确保 Flink 作业运行的机器与 Doris 集群的时间同步，时间偏差应在可接受范围内，推荐使用 NTP 服务进行时间同步。

4. 调整 Flink 配置：

   • 增加 checkpoint 间隔时间 (execution.checkpointing.interval)，给予更充裕的时间完成事务提交到 Doris。
   • 调整 Flink 作业的并行度 (parallelism.default)，避免因资源竞争导致事务处理延迟。

5. 重试或重启作业：

   • 如果上述步骤未能解决问题，考虑停止当前 Flink 作业，检查并修正配置后重新启动同步任务。

注意事项

• 安全考量：操作过程中确保不会影响现有生产数据和服务稳定性。
• 权限要求：执行上述操作需具备对 Flink 作业管理及 Doris 集群维护的相应权限。
• 其他提示：持续监控作业运行状态和 Doris 集群健康，以便及时发现并处理潜在问题。

验证与测试

• 验证步骤：重新启动 Flink CDC 同步任务后，观察任务日志，确认是否还有事务提交失败的错误。
• 测试方法：通过查询 Doris 目标表的数据，验证数据是否成功同步且无遗漏。

按照以上步骤操作，应能解决您遇到的事务提交失败问题。如果问题依旧，请进一步检查相关日志文件或联系技术支持获取帮助。