Flink CDC 里新加dwd_purchase_detail_log表后，从sp重启怎么办？

根据您描述的问题，Flink CDC 在新增 dwd_purchase_detail_log 表后从 Savepoint（SP）重启时，其他表的数据同步异常，且新表在全量阶段卡住。以下是针对该问题的详细分析和解决方案：

1. 问题现象分析

• 新增表同步异常：新增的 dwd_purchase_detail_log 表在全量阶段同步速度逐渐变慢，最终卡住。
• 其他表同步异常：其他表的数据同步也受到影响，可能表现为数据延迟或同步中断。
• 日志无报错：日志中未显示明显错误信息，说明问题可能与资源配置、任务调度或数据源压力相关。

2. 可能原因及解决方法

2.1 新增表全量阶段卡住的原因

• 资源不足：

  • 全量阶段需要读取整张表的数据，如果新增表数据量较大，可能会导致 Task Manager 的 CPU 或内存资源不足，从而影响同步性能。
  • 解决方法：
  • 检查 Task Manager 的资源配置，确保有足够的 CPU 和内存。
  • 在实时计算控制台的资源配置页面增加 Task Manager 的资源分配。
  • 如果新增表数据量特别大，可以考虑分批次同步数据。

• MySQL 数据源压力过大：

  • 新增表的全量读取会增加对 MySQL 数据源的压力，可能导致 Binlog 读取延迟或阻塞。
  • 解决方法：
  • 检查 MySQL 数据库的性能指标（如 QPS、连接数等），确保其能够承受新增表的全量读取压力。
  • 调整 server-id 配置，避免多个任务使用相同的 server-id 导致冲突。
  • 如果 MySQL 数据源压力过高，可以尝试降低全量读取的并发度（通过调整 scan.parallelism 参数）。

• Savepoint 恢复问题：

  • 从 Savepoint 恢复时，新增表的全量读取可能与其他表的增量读取发生冲突，导致任务调度异常。
  • 解决方法：
  • 确保 Savepoint 文件完整且未损坏。
  • 如果问题持续存在，可以尝试以全新状态启动作业（即不使用 Savepoint），并重新同步新增表的数据。

2.2 其他表同步异常的原因

• Task 调度冲突：

  • 新增表的全量读取可能占用了大量资源，导致其他表的增量同步任务无法正常调度。
  • 解决方法：
  • 检查 Flink Web UI 中的任务调度情况，确认是否存在资源争用。
  • 增加 Task Manager 的并发度（通过调整 taskmanager.numberOfTaskSlots 参数）。

• Binlog 读取延迟：

  • 如果 MySQL 数据源的 Binlog 读取延迟较高，可能导致其他表的增量数据无法及时同步。
  • 解决方法：
  • 检查 MySQL 的 Binlog 配置，确保 Binlog_Do_DB 和 Binlog_Ignore_DB 设置正确。
  • 使用 show master status 命令查看 Binlog 状态，确认是否有延迟。

3. 具体操作步骤

3.1 检查资源配置

1. 登录实时计算控制台，进入作业运维页面。
2. 查看 Task Manager 的 CPU 和内存使用率，确保资源充足。
3. 如果资源不足，增加 Task Manager 的资源配置。

3.2 调整 MySQL 数据源配置

1. 检查 MySQL 数据库的性能指标，确保其能够承受新增表的全量读取压力。
2. 调整 server-id 配置，避免冲突。
3. 如果数据量较大，降低全量读取的并发度（通过调整 scan.parallelism 参数）。

3.3 优化 Savepoint 恢复

1. 确保 Savepoint 文件完整且未损坏。
2. 如果问题持续存在，尝试以全新状态启动作业，并重新同步新增表的数据。

3.4 监控任务调度

1. 登录 Flink Web UI，查看任务调度情况。
2. 如果存在资源争用，增加 Task Manager 的并发度（通过调整 taskmanager.numberOfTaskSlots 参数）。

3.5 检查 Binlog 配置

1. 使用 show master status 命令查看 Binlog 状态。
2. 确认 Binlog_Do_DB 和 Binlog_Ignore_DB 设置正确。

4. 重要提醒

• 新增表功能限制：新增表的全量同步可能会影响其他表的增量同步，建议在低峰期进行操作。
• Savepoint 恢复风险：从 Savepoint 恢复时，可能存在任务调度冲突，建议优先尝试全新状态启动。
• 资源监控：定期监控 Task Manager 和 MySQL 数据源的资源使用情况，确保任务稳定运行。

通过以上分析和操作步骤，您可以逐步排查并解决新增表同步卡住及其他表同步异常的问题。如果问题仍未解决，请提供更多日志信息以便进一步分析。您可以复制页面截图提供更多信息，我可以进一步帮您分析问题原因。