开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink on yarn 运行一直生成 flink-web-75e5821c这种空文件是啥情况啊?

flink on yarn 运行一直生成 flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858 这种空文件是啥情况啊?

展开
收起
cuicuicuic 2023-07-03 14:59:53 56 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在 Flink on YARN 模式下,Flink 会在 YARN 上启动一个 Flink 集群,并将应用程序提交到集群中运行。在运行过程中,Flink 会生成一些日志和临时文件,以支持任务调度、状态管理、故障恢复和监控等功能。

    针对您的问题,Flink on YARN 模式下会生成名为 flink-web- 的空文件,其中 是一个随机生成的字符串。这个文件是 Flink 提供的 Web UI 的启动文件,用于在 YARN 上启动 Web UI 并提供监控和调试功能。由于 Web UI 不是必需的组件,因此如果您不需要使用 Web UI,可以通过配置文件禁用它,以避免生成这些空文件。

    具体来说,可以通过修改 flink-conf.yaml 文件来禁用 Web UI,具体步骤如下:

    打开 flink-conf.yaml 文件,找到以下配置项:
    Copy

    启用 Web UI

    web.submit.enable: true
    将 web.submit.enable 设置为 false,即:
    Copy

    禁用 Web UI

    web.submit.enable: false
    保存文件并重新启动 Flink on YARN 集群,即可禁用 Web UI 并避免生成空文件。

    2023-07-30 09:39:46
    赞同 展开评论 打赏
  • 在 Flink on Yarn 中,生成类似 "flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858" 这样的空文件是正常的行为。这些文件是 Flink Web UI 的临时目录。

    Flink Web UI 是一个用于监控和管理 Flink 任务的用户界面。当你在 YARN 上运行 Flink 作业时,Flink 会自动启动 Web UI,并在指定的临时目录中生成一些文件来支持 Web UI 的正常运行。

    这些临时文件包括日志、配置文件和其他与 Web UI 相关的数据。它们通常以随机生成的唯一标识命名,例如 "flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858"。这些文件是 Flink 运行时系统所需的,它们不包含实际的任务数据或结果。

    如果你遇到了问题,比如这些临时文件占据了过多的磁盘空间,你可以考虑根据 flink-conf.yaml 配置文件中的 web.tmpdir 属性,设置一个更合适的临时目录路径。例如:

    web.tmpdir: /path/to/tmp/dir
    
    2023-07-30 09:38:23
    赞同 展开评论 打赏
  • 临时目录 -Dweb.tmpdir=/tmp/flink-web-24bfb86f-b88a-49dc-ac1e-2582f2c90f1a ,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-07-03 15:27:03
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Web应用系统性能优化 立即下载
    高性能Web架构之缓存体系 立即下载
    PWA:移动Web的现在与未来 立即下载