开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC这个异常在 taskmanger 节点 任务数上到 19-20 以上时 新任务就?

Flink CDC这个异常在 taskmanger 节点 任务数上到 19-20 以上时 新任务就会出现此问题

有哪位老铁遇到过没,运行大量任务时?org.apache.flink.util.flinkruntimeexception: org.apache.flink.util.FlinkRuntimeException: java.sql.SQLTransientConnectionException: connection-pool-10.10.10.111:3306 - Connection is not available, request timed out after 30000ms. at

展开
收起
真的很搞笑 2023-07-02 12:20:35 146 0
3 条回答
写回答
取消 提交回答
  • 当 Flink CDC 的任务数在 19-20 以上时出现连接异常的问题,可能存在以下几个原因:

    1. Flink 和 Flink CDC 版本问题:较旧版本可能存在对 TaskManager 任务数的限制。尝试升级到较新的版本,看是否能解决该问题。

    2. 配置参数错误:部分配置可能导致任务过多无法启动。检查 Flink 和 Flink CDC 的相关配置参数,确保其正确性,并根据需求调整相应的配置。

    3. 网络问题:网络状况不佳可能会影响任务的启动。确保网络连接稳定,并尝试优化网络环境,以提高任务的可靠性。

    为了更准确地分析和解决该问题,还需要更多的信息:

    - Flink 和 Flink CDC 的详细版本 - TaskManager 的 CPU/内存配置 - TaskManager 上运行的其他 Flink 任务数量 - 出现异常的 Flink CDC 任务的配置 - 整个 Flink 集群的日志

    根据提供的信息,可能需要采取以下措施:

    - 提高 TaskManager 的资源配置,以支持更多的任务并发执行。 - 升级 Flink/CDC 到较新的版本,以获得更好的性能和稳定性。 - 优化表的配置,减少每个作业消耗的资源量。 - 排查网络错误,确保网络连接正常。

    此外,也有可能是 Flink 或 CDC 自身存在的 bug。为了更好地定位问题的根源并提供合理的解决方案,建议您提供更全面的信息。如果可以提供上述所需信息,我们可以一起深入探讨,并找到问题的解决方案。

    2023-07-30 12:56:38
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    nk 和 CDC 版本问题:较旧版本可能存在 TaskManager 任务量限制。
    配置参数错误:部分配置可能导致任务过多无法启动。
    网络问题:网络状况不佳影响任务启动。
    要准确分析这个问题,需要更多信息:
    Flink 和 Flink CDC 的详细版本
    TaskManager 的 CPU/内存配置
    TaskManager 上的其他 Flink 任务数
    出现异常的 Flink CDC 任务配置
    整个 Flink 集群的日志
    根据提供的信息,可能需要:
    提高 TaskManager 资源,支持更多任务
    升级 Flink/CDC 到较新的版本
    优化表配置,减少每个作业消耗的资源
    排查网络错误
    甚至可能是 Flink 自身的 BUG。
    所以需要更全面的信息,才能定位原因。如果可以提供上述信息,我们可以一起探讨,找到问题的根源,并给出合理的解决方案。
    希望以上建议能为你提供参考。如果还有其他问题,欢迎继续交流。

    2023-07-30 10:50:20
    赞同 展开评论 打赏
  • 连接池默认20个,你需要加,此回答整理自钉群“Flink CDC 社区”

    2023-07-02 12:25:55
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载