开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个报错是 任务太多了吗?

Flink这个报错是 任务太多了吗? org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.KeeperException$NumberQuotaExceedException: KeeperErrorCode = Nodes number exceeds quota limit for /flink2/application_1670910941835_27837/leader

展开
收起
wenti 2023-03-15 10:43:12 431 0
1 条回答
写回答
取消 提交回答
  • 随心分享,欢迎友善交流讨论:)

    这个报错是因为 Flink 使用的 ZooKeeper 集群节点数目超出了 ZooKeeper 的节点数量限制。每个 ZooKeeper 集群都有节点数量的限制,当超过限制时就会出现 KeeperException$NumberQuotaExceedException 异常。

    该异常一般发生在 Flink 集群规模较大、任务数量较多的情况下。解决该异常的方法是:

    1、增加 ZooKeeper 集群的节点数量限制。 在 Kafka、Hadoop 等大数据生态系统中,ZooKeeper 集群节点数量的限制通常会被修改为更大的值。如果您的 ZooKeeper 集群节点数量已达到限制,则需要修改节点数量限制,以容纳更多的 Flink 集群节点。

    2、减少 Flink 集群节点数量。 如果您的 ZooKeeper 集群节点数量已经达到了上限,且无法修改限制时,则需要减少 Flink 集群节点数量。可以通过增加每个节点的内存、CPU 资源,以提高每个节点的处理能力,从而减少节点数量。

    3、将 Flink 集群拆分成多个子集群。 如果无法增加 ZooKeeper 集群节点数量限制,且无法减少 Flink 集群节点数量时,可以将 Flink 集群拆分成多个子集群,并将它们连接到不同的 ZooKeeper 集群上。这样可以将节点数量分散到多个 ZooKeeper 集群上,从而解决该问题。

    2023-03-16 14:53:46
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载