开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink中资源是充足的,但是提交任务一直刷这个信息是什么情况?

flink中资源是充足的,但是提交任务一直刷这个信息是什么情况?image.png

展开
收起
cuicuicuic 2024-01-09 12:28:40 40 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    根据你提供的日志,看起来你的 Flink 作业在部署时超出了60秒的限制。这可能意味着资源不足或者网络问题导致了延迟。

    要解决这个问题,请尝试以下步骤:

    1. 检查集群状态:确保 YARN 集群有足够的可用节点和内存来运行你的 Flink 作业。
    2. 调整 YARN 的配置参数:你可以通过调整 yarn.nodemanager.vmem-check-enabled 和 yarn.scheduler.capacity.root.QueueA.acls 这两个属性值来优化资源配置(具体数值需要参考实际环境):
      • yarn.nodemanager.vmem-check-enabled 设置为 false 可以避免检查容器剩余内存是否大于最小阈值,从而减少启动时间;
    3. 确保网络畅通无阻:如果网络连接不稳定或速度慢,则可能导致部署过程中的延迟。可以考虑使用更稳定的网络服务提供商、增加带宽等方法改善网络状况。
    4. 使用高级调度器:如果你正在使用的默认调度器无法满足需求,可以尝试更换其他调度器如 Mesos 或 Kubernetes 来提高性能并降低延迟。
    5. 减小作业规模:如果以上措施都无法解决问题,那么可能是由于作业本身过于庞大而引起的。在这种情况下,可以通过拆分大作业成多个较小的任务,并分别执行它们来缓解问题。
    2024-01-09 14:27:42
    赞同 展开评论 打赏
  • 集群部署有问题 ,此回答整理自钉群“【③群】Apache Flink China社区”

    2024-01-09 13:19:58
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载