实时计算 Flink版产品使用合集之flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的,怎么处理

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。

问题一:Flink CDC这个是干啥用的啊?

Flink CDC这个是干啥用的啊?org/apache/flink/shaded/guava31/com/google/common/util/concurrent/ThreadFactoryBuilder



参考答案:

java工具包



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584482



问题二:使用 flink-cdc 期间 mysql 发现主从切换的话,会有啥影响不?

使用 flink-cdc 期间 mysql 发现主从切换的话,会有啥影响不?



参考答案:

配置下dns就没问题,最好是使用域名链接,不用ip地址



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584481



问题三:为啥flink-sql-connector-mysql-cdc就不会guava冲突呢?

为啥flink-sql-connector-mysql-cdc就不会guava冲突呢?



参考答案:

sql-connector属于胖包



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584479



问题四:有没有试过flink-cdc.sh xx.yaml提交到yarn 发现没有启动task 的?

有没有试过flink-cdc.sh xx.yaml提交到yarn 发现没有启动task manager的?1.18+cdc 3.0?



参考答案:

可以看下日志怎么提示的



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584478



问题五:PostgreSQL数据库的WAL日志空间快速增长导致Flink CDC磁盘空间不足,是怎么回事呢?

Flink CDC中PostgreSQL-CDC作业持续同步几天后,重新从状态恢复启动后,无法进行增量同步。设置的deberzium.heartbeat.interval.ms和deberzium.heartbeat.action.query也未执行,导致PostgreSQL数据库的WAL日志空间快速增长,导致磁盘空间不足,是怎么回事呢?



参考答案:

在Flink CDC的PostgreSQL CDC作业中,如果作业持续同步几天后,由于某种原因(例如故障恢复或手动重启)重新启动,并且不能继续进行增量同步,同时配置的Debezium心跳参数如debezium.heartbeat.interval.msdebezium.heartbeat.action.query不再执行,可能会出现以下问题:

1. Replication Slot堵塞:

Flink CDC通过Debezium连接器使用PostgreSQL的逻辑复制槽来跟踪已经消费过的事务。如果没有定期发送心跳信号到数据库, replication slot可能无法正确清理已消费的日志,从而导致wal日志空间不断增长。

2. WAL日志堆积:

心跳机制是为了保持与数据库的活跃连接并清除旧的WAL日志。当心跳停止执行时,数据库会保留所有未被确认消费的WAL日志,即使这些日志对应的事务已经被Flink CDC成功处理过。

3. 磁盘空间不足:

由于上述原因,未经清理的WAL日志占用的空间会持续增加,可能导致磁盘空间耗尽。

为了解决这个问题,请检查以下几个方面:

确认心跳设置是否生效:确保在Flink CDC作业的连接器配置中,心跳相关属性已经被正确设置,并且在重启作业时依然生效。

查看日志:

查看Flink CDC作业以及数据库服务器的日志,寻找关于心跳失败、连接中断或其他可能导致心跳停止执行的相关错误信息。

清理Replication Slot:

如果确定是因为没有执行心跳而造成的问题,可以尝试手动清理replication slot或者在重启作业前先删除旧的slot,然后让作业重新创建并开始同步。

监控和报警:

建立合适的监控和报警机制,以便在类似问题发生时及时发现并采取措施。

持久化和恢复点:

确保Flink CDC作业在重启时能够从上次成功的checkpoint位置恢复,而不是从头开始同步。这有助于避免重复处理数据。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/584476

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
12天前
|
消息中间件 资源调度 关系型数据库
如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理
本文介绍了如何在Flink on YARN环境中配置Debezium CDC 3.0,以实现实时捕获数据库变更事件并将其传输到Flink进行处理。主要内容包括安装Debezium、配置Kafka Connect、创建Flink任务以及启动任务的具体步骤,为构建实时数据管道提供了详细指导。
34 9
|
1月前
|
资源调度 分布式计算 大数据
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
大数据-111 Flink 安装部署 YARN部署模式 FlinkYARN模式申请资源、提交任务
90 0
|
1月前
|
Kubernetes Cloud Native 流计算
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
Flink-12 Flink Java 3分钟上手 Kubernetes云原生下的Flink集群 Rancher Stateful Set yaml详细 扩容缩容部署 Docker容器编排
73 0
|
3月前
|
资源调度 Oracle Java
实时计算 Flink版产品使用问题之在YARN集群上运行时,如何查看每个并行度的详细处理数据情况
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
3月前
|
SQL 资源调度 数据处理
实时计算 Flink版产品使用问题之-s参数在yarn-session.sh命令中是否有效
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2月前
|
JSON Kubernetes API
深入理解Kubernetes配置:编写高效的YAML文件
深入理解Kubernetes配置:编写高效的YAML文件
|
5月前
|
存储 运维 Serverless
函数计算产品使用问题之在YAML文件中配置了环境变量,但在PHP代码中无法读取到这些环境变量,是什么原因
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
1月前
|
Kubernetes 应用服务中间件 nginx
k8s学习--YAML资源清单文件托管服务nginx
k8s学习--YAML资源清单文件托管服务nginx
k8s学习--YAML资源清单文件托管服务nginx
|
1月前
|
Kubernetes Docker Perl
k8s常见故障--yaml文件检查没有问题 pod起不来(一直处于创建中)
k8s常见故障--yaml文件检查没有问题 pod起不来(一直处于创建中)
|
1月前
ingress相关yaml文件报错且相关资源一切正常解决方法
ingress相关yaml文件报错且相关资源一切正常解决方法
ingress相关yaml文件报错且相关资源一切正常解决方法

相关产品

  • 实时计算 Flink版