开发者社区> 问答> 正文

flink on yarn日志问题

请问一下两个问题 1 flink on yarn的时候 taskmanager 挂掉的时候 上面的日志会被删除掉 无法查看 ,除了使用es收集日志的这种方案, 还有没有可以使taskmanager 挂掉,相关日志仍然可以保留。 2 flink on yarn模式 当由于错误导致taskmanager 挂掉,但是jobmanager 却一直存在, 有没有好的方式或者策略 , 可以是当task失败 达到重试次数之后 taskmanager挂掉,jobmanager也挂掉

*来自志愿者整理的flink邮件归档

展开
收起
小阿矿 2021-12-06 15:45:30 1092 0
1 条回答
写回答
取消 提交回答
  • 第一个问题,您可以尝试开启Yarn的日志收集功能[1]

    第二个问题,您可以尝试一下per-job mode [2][3]

    [1] https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#log-files

    [2] https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/#per-job-mode

    [3] https://ci.apache.org/projects/flink/flink-docs-master/zh/ops/deployment/yarn_setup.html#run-a-single-flink-job-on-yarn

    *来自志愿者整理的flink邮件归档

    2021-12-06 18:27:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载