flink on yarn 运行一直生成 flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858 这种空文件是啥情况啊?
在 Flink on YARN 模式下,Flink 会在 YARN 上启动一个 Flink 集群,并将应用程序提交到集群中运行。在运行过程中,Flink 会生成一些日志和临时文件,以支持任务调度、状态管理、故障恢复和监控等功能。
针对您的问题,Flink on YARN 模式下会生成名为 flink-web- 的空文件,其中 是一个随机生成的字符串。这个文件是 Flink 提供的 Web UI 的启动文件,用于在 YARN 上启动 Web UI 并提供监控和调试功能。由于 Web UI 不是必需的组件,因此如果您不需要使用 Web UI,可以通过配置文件禁用它,以避免生成这些空文件。
具体来说,可以通过修改 flink-conf.yaml 文件来禁用 Web UI,具体步骤如下:
打开 flink-conf.yaml 文件,找到以下配置项:
Copy
web.submit.enable: true
将 web.submit.enable 设置为 false,即:
Copy
web.submit.enable: false
保存文件并重新启动 Flink on YARN 集群,即可禁用 Web UI 并避免生成空文件。
在 Flink on Yarn 中,生成类似 "flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858" 这样的空文件是正常的行为。这些文件是 Flink Web UI 的临时目录。
Flink Web UI 是一个用于监控和管理 Flink 任务的用户界面。当你在 YARN 上运行 Flink 作业时,Flink 会自动启动 Web UI,并在指定的临时目录中生成一些文件来支持 Web UI 的正常运行。
这些临时文件包括日志、配置文件和其他与 Web UI 相关的数据。它们通常以随机生成的唯一标识命名,例如 "flink-web-75e5821c-11f5-4d1a-b08f-61d48d6b9858"。这些文件是 Flink 运行时系统所需的,它们不包含实际的任务数据或结果。
如果你遇到了问题,比如这些临时文件占据了过多的磁盘空间,你可以考虑根据 flink-conf.yaml 配置文件中的 web.tmpdir
属性,设置一个更合适的临时目录路径。例如:
web.tmpdir: /path/to/tmp/dir
临时目录 -Dweb.tmpdir=/tmp/flink-web-24bfb86f-b88a-49dc-ac1e-2582f2c90f1a ,此回答整理自钉群“【③群】Apache Flink China社区”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。