开发者社区> 问答> 正文

Flink 的 log 文件夹下产生了 44G 日志

您好! 请问一下,把程序打jar包然后提交集群运行了一天,flink安装目录下的log文件夹里产生了44G日志文件。flink 主要做的接收到消息处理完之后写入数据库,但是通过查看数据库数据的情况,数据也挺完整的没有什么错误,可是tail 查看了一下产生的log文件,里面不停的在产生 error 信息,但是也没有看到具体哪里报错,IDEA 本地运行的时候没有报错。据说要在代码设置默认重启策略,我在代码里开启了checkpoint,“senv.enableCheckpointing(60000) ,看资料说“如果启用了 checkpointing,但没有配置重启策略,则使用固定间隔 (fixed-delay) 策略,其中 Integer.MAX_VALUE 参数是尝试重启次数”。 请问这是什么原因呢?应该如何下手解决?*来自志愿者整理的flink邮件归档

展开
收起
雪哥哥 2021-12-07 16:05:01 664 0
1 条回答
写回答
取消 提交回答
  • 最根本的解法当然是去掉打日志的地方,这 source 不是 Flink 内置的,Flink 当然不能控制你们自定义 source 的行为。

    你可以考虑自己改一下 log4j.properties,手动关掉这个 logger, Flink 内置的 log4j.properties 里有 example,参考着改一下

    log4j.logger.org.apache.flink.shaded.akka.org.jboss.netty.channel.DefaultChannelPipeline=ERROR, file 改成 log4j.logger.com.JavaCustoms.FlinkJMSStreamSource=OFF, file

    但是这明显是个 ERROR,最好还是解决一下,要不就是掩耳盗铃啊*来自志愿者整理的flink

    2021-12-07 16:29:20
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载