请问大佬们 有没有遇到Flink CDC task 创建比较多之后,后面任务会出现异常。很多连接 ?

请问大佬们 有没有遇到Flink CDC task 创建比较多之后,后面任务会出现 SQLTransientConnectionException 异常。很多连接 mysql 的任务都会出现超时?

展开
收起
真的很搞笑 2023-07-02 12:20:34 143 发布于黑龙江 分享
分享
版权
举报
2 条回答
写回答
取消 提交回答
  • 当在 Flink CDC 中创建了大量的任务后,可能会导致后续任务出现异常,如 SQLTransientConnectionException 异常。这通常是由于以下原因造成的:

    1. 数据源(如 MySQL)压力过大:当创建大量的 Flink CDC 任务时,每个任务都需要与数据源建立连接。如果数据源负载较高,无法承受这么多并发连接,就会导致连接超时或异常。

    2. Flink 资源不足:Flink 集群的资源(如 CPU 和内存)有限,如果已经达到资源上限,就无法再创建新的任务,从而导致后续任务创建失败或异常。

    3. Flink CDC 版本存在 bug:较旧版本的 Flink CDC 可能存在对并发任务数量的限制,导致创建任务过多时出现问题。您可以尝试升级到最新的 Flink CDC 版本。

    4. Flink 配置不当:如果 Flink 集群的配置项不合理,例如 parallelism 设置过大超出实际任务能力,也可能导致任务创建失败或异常。

    5. 网络问题:集群的网络不稳定可能导致任务创建失败。请确保集群的网络连接稳定。

    为了准确诊断和解决问题,建议提供更详细的信息,包括:

    - Flink 和 Flink CDC 的版本号。 - Flink 集群的配置信息,如 TaskManager 的 CPU 和内存。 - CDC 数据源的配置和负载情况。 - Flink CDC 作业的配置,特别是并发数(parallelism)设置。 - 是否有相关的错误日志或异常堆栈信息。

    根据提供的信息,可以进一步分析和定位问题所在,并给出相应的解决方案。

    2023-07-30 12:58:00 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论
  • 北京阿里云ACE会长

    出现 Flink CDC task 创建较多后,后面的任务异常的问题,可能的根源为:
    CDC源头(如MySQL)压力过大,Flink CDC无法建立连接
    当创建大量Flink CDC task时,所有task都需要与MySQL建立连接,如果MySQL负载高,可能无法承受这么多并发连接。
    Flink资源不足,无法创建新task
    Flink集群资源(CPU/内存)不足,已达到上限,无法再创建新的task。
    Flink CDC版本存在bug,存在task并发量限制
    较旧版本Flink CDC可能存在最大task并发数限制。
    Flink配置项不当,导致创建task过多失败
    如parallelism设置得过大,超出实际任务能力。
    网络问题,影响Flink创建task
    集群网络不稳定,导致task创建失败。
    要准确定位问题,建议提供详细信息:
    Flink与CDC的版本号
    Flink集群配置,如TaskManager CPU/内存
    CDC数据源的配置和负载
    Flink CDC作业的配置,如并发数parallelism
    消息是否存在于Flink日志中
    到达多少task后开始出现问题
    出现的具体异常日志
    根据提供的信息分析:

    2023-07-30 10:50:20 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等