开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,?

Flink CDC1.13版本上部署一个flink1.17为什么任务启动一直accepted状态,yarn的,有什么排查方向吗,资源什么的都是充足的?本来是1.13版本然后部署了一个1.17flink在17上提交任务一直accepted状态没变成running,资源什么的我看也是很多的

展开
收起
cuicuicuic 2023-11-21 09:16:54 36 0
4 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果Flink CDC任务在YARN上始终处于ACCEPTED状态,并且资源充足,那么可以考虑以下几个排查方向:

    1. YARN集群配置: 检查YARN集群配置是否正确,特别是内存和CPU限制等方面。如果这些设置不正确,可能会阻止Flink CDC任务启动。
    2. 作业配置: 检查Flink CDC作业配置是否正确。如果有误,也会阻止任务启动。
    3. 日志: 检查YARN和Flink CDC的日志,查找潜在的问题。
    4. 相关依赖: 确保YARN和Flink CDC的依赖项正确安装并配置正确。
    2023-11-21 23:12:45
    赞同 展开评论 打赏
  • 这个状态是不兼容的哈,无状态启动吧,此回答整理自钉群“Flink CDC 社区”

    2023-11-21 22:20:23
    赞同 展开评论 打赏
  • 这个问题可能是由于Flink 1.17与YARN的兼容性问题导致的。在YARN上部署Flink应用的过程中,客户端会把Flink应用提交给Yarn的ResourceManager,然后Yarn的ResourceManager会向Yarn的NodeManager申请容器,在这些容器上,Flink会部署JobManager和TaskManager的实例,从而启动集群。

    如果任务一直处于accepted状态没有变成running,可能的原因有:

    1. Flink版本与YARN版本不兼容:你正在尝试使用的Flink 1.17可能与你的YARN环境或其他系统配置不兼容。
    2. 资源配置不足:虽然你提到资源充足,但实际运行情况可能会因各种因素而不同。建议检查任务所需的资源是否得到了足够的分配。
    3. 作业配置问题:检查作业的配置是否正确,包括并行度、内存等参数。
    4. 依赖问题:如果你在项目中添加了Scale库但没有标明Scale版本,可能会导致类似的问题。

    为了解决这个问题,你可以尝试以下步骤:

    1. 确保Flink版本与YARN版本兼容。如果不兼容,考虑使用其他版本的Flink或升级YARN。
    2. 检查任务的资源分配情况,确保它们足够完成任务。
    3. 仔细检查作业的配置,确保所有参数都正确设置。
    4. 如果使用了其他库或框架,请确保它们的版本与Flink版本兼容。
    2023-11-21 14:58:47
    赞同 展开评论 打赏
  • 有几个可能的原因会导致 Flink 作业一直处于 ACCEPTED 状态:

    1. 资源不足:虽然你提到资源充足,但是最好还是检查一下 YARN 集群中的可用资源,包括内存、CPU 和磁盘空间。
    2. 依赖包冲突:如果使用了外部库或依赖项,确保它们在 YARN 上可用,并且没有与其他应用程序发生冲突。
    3. 兼容性问题:你已经升级到了 Flink 1.17 版本,但仍在使用旧版的 Flink CDC 插件。这可能导致兼容性问题,可以尝试升级 CDC 插件以匹配 Flink 的版本。
    4. 提交方式错误:如果你正在通过 Flink CLI 提交作业,请确认使用正确的命令行选项和配置文件。对于 YARN 部署,应该使用 yarn-session 或 yarn-application 模式进行提交。
    5. 错误的日志级别:你可以查看 Flink 日志以获取更详细的错误消息。可以尝试将日志级别设置为 DEBUG 或 TRACE,以便获取更多的详细信息。
    2023-11-21 14:39:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载