flink on yarn 模式 日志问题
程序中设置了检查点，env.enableCheckpointing(5000); 日志中就不断的有日志，时间长了日志就会越来越大，在yarn控台 看job日志，会越来越大，根本就不能看了 1.请问检查点日志打印可以关闭吗？或者有其他方式看吗？ 2.请问在这种模式下，如何去找日志文件存放文件路径，目前找不到，是不是在hdfs中 3.请问flink任务中大家是怎么打印日志的？假设slf4j+logback，在on yarn 模式下如何设置，日志会打到什么地方，能不能被搜集到监控系统中搜集到（日志文件在具体某个路径下，还是在hdfs中）*来自志愿者整理的flink邮件归档
展开
收起
1
条回答
写回答
写回答
-
- 这个日志确实会存在，如果你觉得5秒打印两行不能接受的话，我能想到的几种解决方法 1.1. 加大 checkpoint 间隔 1.2. 单独指定该 logger 的 level，修改 log4j.properties，增加一行：log4j.logger.org.apache.flink.runtime.checkpoint.CheckpointCoordinator=WARN 1.3. 修改源代码重新编译
- 确实在 YARN 模式下，日志的位置不固定，和你的需求不匹配，standalone 模式可能更友好些。硬核一点的方法，可以扩展 log4j appender，不只打到文件，可以搜一下有没有现成的解决方案
- Flink session/job 挂掉的话，仍可以通过 YARN 获取日志，只是无法和 Flink task 映射，需要自己分析对应关系来排查问题。可以考虑使用 Flink history server 来协助排查，参见： https://ci.apache.org/projects/flink/flink-docs-release-1.7/monitoring/historyserver.html*来自志愿者整理的flink
2021-12-07 15:22:53赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
