在使用 Flink CDC 提交 SQL 任务到 Yarn 时,是否有办法在 SQL 任务运行过程中查看或监控相关的日志信息?另外在 Yarn 的 Web 界面上能否看到具体执行的 SQL 任务细节?我的目的是识别和定位哪些特定的 SQL 任务在 Yarn 集群上占用了大量内存资源。
在Flink CDC中提交一个SQL任务后,可以通过日志查看任务执行情况,同时在YARN上也能查看正在执行的SQL任务。
首先,关于如何查看Flink CDC SQL任务的日志,通常有几种方法可供使用:
其次,若要在YARN上查看正在执行的SQL任务,可以采取以下步骤:
综上,在实际操作中,需要根据任务的具体运行情况和环境配置来选择合适的方法进行日志查看和问题定位。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。