开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请教下Flink,我yarn启动的时候,通过这种方式指定日志文件配置,为啥不生效?

请教下Flink,我yarn启动的时候,通过这种方式指定日志文件配置,为啥不生效?
-Dlog4j.configurationFile=/home/flink-1.13.6/log4j.properties

展开
收起
真的很搞笑 2023-12-03 20:36:49 81 0
3 条回答
写回答
取消 提交回答
  • 怕是没办法去读某台服务器路径上的文件,任务的运行是分布式的,此回答整理自钉群“【③群】Apache Flink China社区”

    2023-12-05 10:08:32
    赞同 展开评论 打赏
  • 可能是因为Flink在启动时没有正确加载指定的日志配置文件。您可以尝试以下方法:

    1. 确保指定的日志配置文件路径是正确的,并且文件存在。

    2. 尝试将日志配置文件放在Flink的安装目录下,并使用相对路径指定配置。例如:

    -Dlog4j.configurationFile=conf/log4j.properties
    
    1. 如果仍然无法生效,请检查Flink的启动脚本中是否包含了正确的JVM参数。您可以查看flink-conf.yaml文件中的jobmanager.heap.sizetaskmanager.heap.size等参数是否正确设置。
    2023-12-04 16:18:07
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    可能的原因有以下几点:

    1. 确保log4j.properties文件的路径正确。请检查/home/flink-1.13.6/log4j.properties文件是否存在,以及Flink是否具有访问该文件的权限。

    2. 在启动Flink时,确保使用正确的命令行参数。例如,如果您使用的是bin/start-cluster.sh脚本,您应该使用以下命令启动Flink集群:

    bin/start-cluster.sh -n <number-of-taskmanagers> -m <memory-per-taskmanager> -yarn -Dlog4j.configurationFile=/home/flink-1.13.6/log4j.properties
    

    请将<number-of-taskmanagers><memory-per-taskmanager>替换为实际的任务管理器数量和每个任务管理器的内存大小。

    1. 检查Flink的日志配置是否正确。在log4j.properties文件中,确保以下配置项已设置:
    log4j.rootCategory=INFO, console
    log4j.appender.console=org.apache.log4j.ConsoleAppender
    log4j.appender.console.layout=org.apache.log4j.PatternLayout
    log4j.appender.console.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
    

    这些配置项将确保Flink将日志输出到控制台,并按照指定的格式显示。

    1. 如果问题仍然存在,请查看Flink的日志文件以获取更多详细信息。通常,Flink的日志文件位于$FLINK_HOME/log目录下。
    2023-12-04 13:36:40
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载