flink tidbcdc 报这个错为啥?

展开

收起

小小鹿鹿鹿 2024-04-15 19:56:43 68 版权

阿里云 AI 助理回答

根据您提供的错误信息和知识库中的相关资料，以下是可能导致 Flink 使用 TiDB CDC 时出现报错的原因及解决方案：

1. 报错原因分析

Flink 在使用 TiDB CDC 时，可能会因为以下原因导致作业异常： - Task 退出超时：如果作业在 Failover 或退出过程中，某些 Task 长时间未完成退出操作，Flink 会触发 Task did not exit gracefully within 180 + seconds 的报错。这通常是因为自定义函数（如 close 方法）中存在阻塞逻辑，或者计算方法长时间未返回结果。 - Checkpoint 失败：如果 Checkpoint 过程中频繁失败，可能会导致作业触发 Failover。例如，Kafka Sink 的 Checkpoint 超时或失败次数超过容忍阈值，会引发类似 Too many ongoing snapshots 或 Exceeded checkpoint tolerable failure threshold 的报错。 - 网络连通性问题：如果 Flink 和 TiDB CDC 之间的网络延迟较高，或者域名解析失败，可能会导致作业运行异常。例如，UnknownHostException 或 JobManager heartbeat timeout 等报错。 - 磁盘空间不足：如果 TaskManager 的本地磁盘空间耗尽，可能会导致 No space left on device 的报错。

2. 解决方案

针对上述可能的原因，您可以按照以下步骤逐一排查并解决问题：

2.1 检查 Task 退出超时

问题描述：如果作业在 Failover 或退出过程中，某些 Task 长时间未完成退出操作，可能会触发超时报错。
解决方案：
1. 检查自定义函数的实现，尤其是 close 方法中是否存在阻塞逻辑。
2. 如果确认是 Task 退出超时问题，可以临时将 task.cancellation.timeout 参数设置为 0，以避免超时中断。
```
task.cancellation.timeout: 0
```
3. 重要提醒：task.cancellation.timeout 参数仅用于调试，请勿在生产环境中长期使用该配置。
4. 重启作业后，如果仍然存在阻塞问题，可以通过查看处于 Cancelling 状态的 Task 栈信息，定位具体问题根因。

2.2 检查 Checkpoint 配置

问题描述：如果 Checkpoint 过程中频繁失败，可能会导致作业触发 Failover。
解决方案：
1. 调整 Checkpoint 的超时时长，确保其不会因为超时而失败：
```
execution.checkpointing.timeout: 10min
```
2. 增加 Checkpoint 容忍失败次数，避免因少量失败导致作业 Failover：
```
execution.checkpointing.tolerable-failed-checkpoints: 3
```
3. 如果使用 Kafka 作为 Sink，可以适当增加 Kafka 生产者池大小或减少并发 Checkpoint 数量。

2.3 检查网络连通性

问题描述：如果 Flink 和 TiDB CDC 之间的网络延迟较高，或者域名解析失败，可能会导致作业运行异常。
解决方案：
1. 确保 Flink 和 TiDB CDC 之间的网络连通性正常。如果使用了域名，请检查域名解析是否正确。
2. 如果配置了自建 DNS，但出现 JobManager heartbeat timeout 报错，可以在作业中关闭对 TaskManager 的域名解析：
```
jobmanager.retrieve-taskmanager-hostname: false
```
3. 如果网络延迟较高，建议优化网络环境或调整心跳超时时间。

2.4 检查磁盘空间

问题描述：如果 TaskManager 的本地磁盘空间耗尽，可能会导致 No space left on device 的报错。
解决方案：
1. 减少每个 TaskManager 上的 Slot 数量，降低单个节点上的并行任务数，从而减少对本地磁盘空间的需求。
2. 提高 TaskManager 的 CPU 核心数，以增加分配的磁盘空间配额（每个 CPU 核心配额为 20GiB）。