开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flinkcdc中这个日志,我在自己的逻辑代码内部也能获取到么?

请问flinkcdc中这个日志,我在自己的逻辑代码内部也能获取到么?就是全量阶段完成,我的任务自动通过捕获这个关键字,自动终止,这样通过监控发现全量任务完成,再有人工调整参数,启动增量任务。

展开
收起
十一0204 2023-07-24 10:22:55 53 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    您所提到的 Flink CDC 日志,如果是指通过 Flink CDC 输出的日志,通常是无法直接在您的应用程序中获取的。
    Flink CDC 通过日志输出来记录程序的运行状态和错误信息,这些日志信息通常会被输出到 Flink 的日志系统中,例如 log4j、logback 等。您可以通过配置日志级别和输出方式来控制日志的量和输出位置。
    如果您需要在自己的逻辑代码中获取 Flink CDC 的日志信息,您可以考虑通过 Flink 提供的日志 API 来获取。Flink 提供了一些日志类和接口,例如 org.apache.flink.api.common.functions.RuntimeContext、org.apache.flink.runtime.log.Log4jLogger、org.apache.flink.runtime.log.LogLevel 等,您可以使用这些类和接口来获取和控制 Flink 的日志输出。
    具体来说,您可以通过 RuntimeContext 获取 Log4jLogger 对象,然后使用该对象来输出日志信息。例如:
    java
    Copy
    import org.apache.flink.api.common.functions.RuntimeContext;
    import org.apache.flink.runtime.log.Log4jLogger;

    public class

    2023-07-29 18:55:29
    赞同 展开评论 打赏
  • 意中人就是我呀!

    配置监控,监控flink的metric,在全量阶段完成的时候发送告警,否则的话你还是得主动去观察是否完成全量阶段,不能被动接收通知。
    8d171845d76215b18d07cdcbcba5d50f.png
    我这边点开是有记录的。flink.1.15不过我是vvr的,我本次测一下。
    此回答整理至钉群“Flink CDC 社区”。

    2023-07-24 10:55:18
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载