开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

使用 Flink CDC 是否有办法在 SQL 任务运行过程中查看或监控相关的日志信息?

在使用 Flink CDC 提交 SQL 任务到 Yarn 时,是否有办法在 SQL 任务运行过程中查看或监控相关的日志信息?另外在 Yarn 的 Web 界面上能否看到具体执行的 SQL 任务细节?我的目的是识别和定位哪些特定的 SQL 任务在 Yarn 集群上占用了大量内存资源。

展开
收起
小小鹿鹿鹿 2024-02-26 17:21:40 97 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中提交一个SQL任务后,可以通过日志查看任务执行情况,同时在YARN上也能查看正在执行的SQL任务

    首先,关于如何查看Flink CDC SQL任务的日志,通常有几种方法可供使用:

    1. 直接在Flink的Web界面查看:提交的任务会在Flink的Web界面上显示,包括运行状态、日志等信息。
    2. 通过历史服务器(History Server)查看已完成任务的日志:如果任务已经完成,可以通过Flink的历史服务器来访问任务的详细信息和日志。
    3. 开启Shell命令查看具体日志:对于正在运行的任务,也可以通过Flink shell命令行工具来获取任务的日志信息。

    其次,若要在YARN上查看正在执行的SQL任务,可以采取以下步骤:

    1. 查看正在运行的任务:登录到YARN的ResourceManager Web界面,选择正在运行的应用,进入ApplicationMaster页面,再点击“Job”查看任务的配置信息,利用过滤框搜索“hive.query.string”即可找到对应的SQL语句。
    2. 查看已结束的任务:对于已经结束的任务,同样可以进入历史服务器(History Server)进行查看。

    综上,在实际操作中,需要根据任务的具体运行情况和环境配置来选择合适的方法进行日志查看和问题定位。

    2024-02-27 13:22:02
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载