开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

有个问题想请教一下flink为什么任务启动一直accepted状态?yarn的,有什么排查方向吗?

有个问题想请教一下flink1.13版本上部署一个flink1.17为什么任务启动一直accepted状态?yarn的,有什么排查方向吗?资源什么的都是充足的

展开
收起
真的很搞笑 2023-11-21 08:04:49 89 0
3 条回答
写回答
取消 提交回答
  • 这个明显不能兼容吧,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-11-21 22:20:25
    赞同 1 展开评论 打赏
  • 任务一直处于accepted状态可能有以下几种原因:

    1. 检查Flink的日志,看是否有报错信息。如果有报错信息,可以根据报错信息进行排查。

    2. 检查YARN的资源使用情况,包括CPU、内存、磁盘和网络等。如果资源不足,可能会导致任务一直处于accepted状态。

    3. 检查Flink的配置文件,看是否有配置错误。例如,检查jobmanager.rpc.address和taskmanager.rpc.address是否配置正确。

    4. 如果以上都没有问题,可以尝试重启Flink集群,看是否能解决问题。

    2023-11-21 15:34:41
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果 Flink 任务始终处于 ACCEPTED 状态,那可能的原因有很多。以下是一些建议的排查方向:

    1. 确认 Task Manager 和 Job Manager 是否正常运行:首先检查 YARN 上的 Task Manager 和 Job Manager 是否都正常启动并正常运行。如果两者都未启动,则需检查 YARN 中是否存在问题。

    2. 检查 YARN 配置:确认 YARN 集群的配置是否正确。此外,请检查 Flink 的 YARN 配置文件,例如 yarn-cluster.sh 或 yarn-session.sh 文件,以确定相关属性的值。

    3. 检查 Flink 应用程序日志:Flink 应用程序在运行过程中会记录详细的日志,您可以查看这些日志以查找可能的错误消息或异常。可以在 ResourceManager UI 上找到应用程序的 log 目录。

    4. 检查资源:尽管您提到资源充足,但仍需要检查资源是否存在其他问题,比如是否因为超时导致分配资源的请求被拒绝。

    5. 检查 HDFS 及其安全性:如果您的作业使用了 HDFS 或类似的分布式文件系统,确保系统的安全性设置正确,以便 Flink 可以访问所需的文件。

    6. 检查 Flink 版本兼容性:确保使用的是与当前 YARN 集群兼容的 Flink 版本。

    2023-11-21 14:15:53
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载