开发者社区> 问答> 正文

关于flink任务的日志收集到kafka,可以在logback配置文件中

我们在做flink的日志收集到kafak时,使用的logback日志配置文件,目前的pattern是%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{60} - %msg,有没有什么办法在里面加入每个job的id,name或者tasknamanger的主机名之类的信息啊。在做ELK的时候,方便查询。 这个配置文件,是整个项目的,是基于Yarn的per job模式,难道每个主类打包的时候,都要改动不同的logbakc配置文件吗? *来自志愿者整理的flink邮件归档

展开
收起
游客sadna6pkvqnz6 2021-12-07 16:44:33 1015 0
1 条回答
写回答
取消 提交回答
  • 我建议可以通env的方式传,在logback或者log4j配置中直接引用相应的env

    例如,可以通过如下两个配置传递clusterId到环境变量 containerized.master.env.clusterId=my-flink-cluster containerized.taskmanager.env.clusterId=my-flink-cluster

    另外,也有一些内置的环境变量可以来使用 _FLINK_CONTAINER_ID _FLINK_NODE_ID*来自志愿者整理的flink

    2021-12-07 20:17:44
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载