开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink1.16.0,“yarn-session.sh --detached”的相关问题

请教一下:Flink1.16.0,“yarn-session.sh --detached”模式启动但是在Flink的Web端无法查看Task Managers的内存使用情况,这个要咋解决?还有checkpoint信息也看不到(但是在HDFS里可以看到checkpoint是正常创建和更新的)

lQLPJxRQVrcVjSTNAv7NBvqwyN11DDvvroADjtEcv4BHAA_1786_766.png lQLPJwzRTg6brSTNAhDNAy6wd5VVq5HrXjsDjtEcxgCCAA_814_528.png

展开
收起
爱喝咖啡嘿 2022-12-09 16:16:22 192 0
1 条回答
写回答
取消 提交回答
  • yarn-session.sh --detached 在 Flink 1.16.0 中使用时可能会出现一些问题。以下是其中一些常见问题以及可能的解决方案:

    Detached 应用程序无法访问 HDFS:

    问题:在 detached 模式下启动的 Flink 应用程序无法访问 HDFS。
    解决方案:在启动应用程序之前,使用 hdfs dfs -mkdir /tmp/flink/ 命令为每个用户创建 HDFS 目录。
    Detached 应用程序无法访问 YARN 资源管理器:

    问题:在 detached 模式下启动的 Flink 应用程序无法访问 YARN 资源管理器。
    解决方案:确保 YARN 资源管理器正在运行,并且 Flink 应用程序可以访问它。检查 YARN 配置并确保 Flink 应用程序具有访问 YARN 资源管理器的权限。
    Detached 应用程序无法写入日志文件:

    问题:在 detached 模式下启动的 Flink 应用程序无法写入日志文件。
    解决方案:确保 Flink 应用程序具有写入日志文件目录的权限。还可以尝试将日志级别设置为 INFO 或 DEBUG 以获得更多信息。
    Detached 应用程序无法从检查点恢复:

    问题:在 detached 模式下启动的 Flink 应用程序无法从检查点恢复。
    解决方案:确保 Flink 应用程序具有读取检查点文件目录的权限。还可以尝试禁用检查点或使用不同的检查点策略。
    其他提示:

    使用 --verbose 选项启动 Flink 应用程序以获得更多调试信息。
    检查 YARN 日志和 Flink 日志以查找错误或警告。
    联系 Flink 社区或 Cloudera 社区寻求帮助。
    希望这些信息有所帮助。

    2024-02-27 17:54:50
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载