Flink1.16.0,“yarn-session.sh --detached”的相关问题

请教一下:Flink1.16.0,“yarn-session.sh --detached”模式启动但是在Flink的Web端无法查看Task Managers的内存使用情况,这个要咋解决?还有checkpoint信息也看不到(但是在HDFS里可以看到checkpoint是正常创建和更新的)

lQLPJxRQVrcVjSTNAv7NBvqwyN11DDvvroADjtEcv4BHAA_1786_766.png lQLPJwzRTg6brSTNAhDNAy6wd5VVq5HrXjsDjtEcxgCCAA_814_528.png

展开
收起
爱喝咖啡嘿 2022-12-09 16:16:22 267 分享 版权
1 条回答
写回答
取消 提交回答
  • yarn-session.sh --detached 在 Flink 1.16.0 中使用时可能会出现一些问题。以下是其中一些常见问题以及可能的解决方案:

    Detached 应用程序无法访问 HDFS:

    问题:在 detached 模式下启动的 Flink 应用程序无法访问 HDFS。
    解决方案:在启动应用程序之前,使用 hdfs dfs -mkdir /tmp/flink/ 命令为每个用户创建 HDFS 目录。
    Detached 应用程序无法访问 YARN 资源管理器:

    问题:在 detached 模式下启动的 Flink 应用程序无法访问 YARN 资源管理器。
    解决方案:确保 YARN 资源管理器正在运行,并且 Flink 应用程序可以访问它。检查 YARN 配置并确保 Flink 应用程序具有访问 YARN 资源管理器的权限。
    Detached 应用程序无法写入日志文件:

    问题:在 detached 模式下启动的 Flink 应用程序无法写入日志文件。
    解决方案:确保 Flink 应用程序具有写入日志文件目录的权限。还可以尝试将日志级别设置为 INFO 或 DEBUG 以获得更多信息。
    Detached 应用程序无法从检查点恢复:

    问题:在 detached 模式下启动的 Flink 应用程序无法从检查点恢复。
    解决方案:确保 Flink 应用程序具有读取检查点文件目录的权限。还可以尝试禁用检查点或使用不同的检查点策略。
    其他提示:

    使用 --verbose 选项启动 Flink 应用程序以获得更多调试信息。
    检查 YARN 日志和 Flink 日志以查找错误或警告。
    联系 Flink 社区或 Cloudera 社区寻求帮助。
    希望这些信息有所帮助。

    2024-02-27 17:54:50
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理