开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC日志配置,有没有什么好的配置方案?

Flink CDC日志配置,有没有什么好的配置方案,之前遇到配置成error打印,但是某些异常没有打印出来的情况的?

展开
收起
真的很搞笑 2023-11-16 07:54:01 254 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC 提供了丰富的日志配置选项,可以让您更好地控制日志输出级别、位置和格式。您可以通过 logging.file 参数来指定日志文件的位置,以及 log4j.rootLogger 参数来设置日志级别。
    如果您想要更多地控制日志输出,可以使用 logback.xml 文件来设置日志配置。例如,以下配置将把所有日志记录到 /tmp/flink.log 文件中,并将日志级别设置为 DEBUG:

    <configuration>
    
      <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
          <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
      </appender>
    
      <root level="${sys:LOGGING_LEVEL:-DEBUG}">
        <appender-ref ref="STDOUT"/>
      </root>
    </configuration>
    
    2023-11-16 13:36:16
    赞同 展开评论 打赏
  • 在配置Flink CDC日志时,你可以考虑使用log4j-cli.properties文件,它是Flink自带的默认日志配置文件,主要用于Flink命令行客户端(例如flink run)的使用,但不包括在集群上执行的代码。

    此外,Flink也提供了一些有用的应用程序日志级别的配置选项,这些选项可以帮助你更好地控制和优化应用程序的日志输出。例如,你可以设置org.apache.flink.runtime.taskmanager.TaskManager的日志级别为ERROR,这样只有错误信息会被打印出来,从而避免不必要的日志干扰。同样地,你还可以针对具体的任务或组件进行更为详细的配置,以便获取最有价值的运行信息。

    要注意的是,如果遇到某些异常没有打印出来的情况,可能的原因是这些异常的级别低于你所设置的日志级别。在这种情况下,你可以尝试提高这些异常的日志级别,或者检查是否有其他因素影响了日志输出。

    同时,请确保你使用的Flink版本与CDC版本兼容,并且正确配置了相关jar包和依赖。在特定场景下,例如Debezium订阅MySQL Binlog的场景,还需要了解和调整CDC的事件接收模式。

    2023-11-16 10:20:54
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载