flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。

问题一:Flink CDC里3.0的schema evolution有设计文档么?


Flink CDC里3.0的schema evolution有设计文档么?操作系统:CentOS7.9

Flink版本:1.16.2

Flink CDC版本:2.4.2

Source端:TiDB v7.5

Sink端:Oracle 19c

使用FlinkSql配置Flink CDC进行数据同步

同步结束后,两边数量一致,但是个别字段不一致,甚至某一个字段Soruce端没有空值,但是Sink端全是空值。SOURCE端和SINK端都是字符类型或者日期类型,但是SOURCE端映射成FLINKSQL的类型是VARCHAR,SINK端映射的类型是STRING,读取是空值。


参考回答:

1:使用flinksql 测试数据写到oracle是否正常

2:flinksql读取tidb是否数据正常

3:以上都没有问题 大概率就是数据类型不兼容或者艾特群里玩oracle的。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/596364?spm=a2c6h.13066369.question.6.283f3f336Hqvrt



问题二:现在flink cdc 支持从mysql 到oceanbase吗?


现在flink cdc 支持从mysql 到oceanbase吗?


参考回答:

现在flink cdc还不支持从mysql 到oceanbase的全量或增量数据的同步


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/596363?spm=a2c6h.13066369.question.7.283f3f33NS7xrG



问题三:Flink CDC里如果上游没办法限制数据流量 sink doris有办法限制写入流量吗 ?


Flink CDC里如果上游没办法限制数据流量 sink doris有办法限制写入流量吗 ?现在遇到情况 sink doris Records Sent几百万了 但是doris里一条数据没有 怎么办?


参考回答:

在Apache Flink CDC中,如果上游无法限制数据流量,确实可以对Flink Sink Doris的部分进行流量控制,以避免Doris端因为写入速率过高而无法处理。以下是一些可能的解决方案:

Flink侧限流:

背压 (Backpressure):Flink本身就具备背压机制,可以通过自动调节源和sink之间的数据传输速率,防止数据积压。当sink端处理速度较慢时,Flink会自动减慢数据读取速度,以适应下游处理能力。

Sink Rate Limiting: 可以通过Flink Sink Connector的参数或者自定义SinkFunction实现限流逻辑,比如控制每次批量写入的数据量或延时。

Doris侧优化:

分区策略:合理设计Doris表的分区策略,可以分散写入压力,提高并发写入性能。

Batch Write:确保Flink CDC向Doris写入数据时使用批量写入模式,这样可以减少网络交互次数,提高写入效率。

Doris Load Balancing:如果Doris是集群部署,确保负载均衡配置得当,充分利用集群资源。

中间缓冲与错误处理:

Checkpoints & Retries:检查Flink作业的Checkpoint配置,确保在失败后能够通过Checkpoint恢复并重试写入。

Buffer Size & Flush Policy:设置合理的缓冲区大小和flush策略,避免一次性写入太多数据导致Doris端无法处理。

对于你提到的Records Sent很多但Doris中没有数据的问题,首先需要排查几个关键点:

Flink CDC配置:确认Sink到Doris的配置是否正确,包括连接参数、表名等。

错误处理与告警:检查Flink任务的日志,查看是否有错误信息,例如网络连接错误、数据格式错误、Doris端拒绝写入等情况,并确保有完善的错误处理和告警机制。

Doris端问题排查:检查Doris的写入日志,确认是否真的没有接收到任何数据,还是因为某种原因(如DDL变更、表映射错误等)导致数据没有正确写入。

如果经过排查发现数据确实没有到达Doris端,那么可能需要调整Flink CDC任务的配置,如增加数据缓冲、限流、或者改进错误重试策略,确保数据可靠传输到Doris。同时,也要确认Doris集群的健康状况和写入能力。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/596362?spm=a2c6h.13066369.question.8.283f3f33v3o5Ly



问题四:Flink CDC里这种报错怎么解决?


Flink CDC里这种报错怎么解决?flink1.18+flink-cdc3.0。Caused by: org.apache.flink.util.SerializedThrowable: java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException: Invocation of [RemoteRpcInvocation(JobMasterOperatorEventGateway.sendRequestToCoordinator(OperatorID, SerializedValue))] at recipient [pekko.tcp://flink@172.21.48.3:6123/user/rpc/jobmanager_2] timed out. This is usually caused by: 1) Pekko failed sending the message silently, due to problems like oversized payload or serialization failures. In that case, you should find detailed error information in the logs. 2) The recipient needs more time for responding, due to problems like slow machines or network jitters. In that case, you can try to increase pekko.ask.timeout.


参考回答:

该错误表明在Flink 1.18 + flink-cdc 3.0版本中,Flink JobManager与TaskManager之间的RPC通信出现了超时问题。以下是可能的解决方法:

检查网络问题:

确保JobManager和TaskManager之间的网络连接通畅,没有防火墙、安全组规则或其他网络配置阻断了通信。

查看节点间网络延迟是否过高,如有必要优化网络环境。

增加RPC超时时间:

根据错误提示,可以尝试增加Flink的RPC超时时间。在flink-conf.yaml配置文件中增加或修改以下配置项:

pekko.ask.timeout: 30s  # 或者设置更大的超时时间,单位为秒

注意这里的配置名可能随着Flink版本的不同有所变动,具体配置项请查阅Flink 1.18版本的官方文档。

检查资源和性能问题:

确认JobManager和TaskManager有足够的CPU和内存资源,避免由于资源不足导致响应超时。

查看JobManager和TaskManager的日志,查看是否有与资源紧张、GC暂停时间过长、任务执行缓慢等相关的信息。

检查序列化问题:

如果错误原因是由于消息太大或者序列化失败引起的,日志中应有相关信息。请优化数据结构,减少序列化后的数据大小,或者检查并修复序列化问题。

任务优化:

检查并优化Flink作业的并行度、算子配置、checkpoint设置等,确保任务执行顺畅,减少RPC通信的压力。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/596361?spm=a2c6h.13066369.question.9.283f3f33kSfCyz



问题五:Flink CDC里oraclecdc 报的这个错误怎么解决?


Flink CDC里oraclecdc 报的这个错误怎么解决?java.lang.UnsupportedOperationException: setXIncludeAware is not supported on this JAXP implementation or earlier: class oracle.xml.jaxp.JXDocumentBuilderFactory


参考回答:

在Flink CDC Oracle CDC connector中遇到java.lang.UnsupportedOperationException: setXIncludeAware is not supported on this JAXP implementation or earlier: class oracle.xml.jaxp.JXDocumentBuilderFactory错误,这是因为Oracle自带的JAXP实现不支持setXIncludeAware(true)方法。

解决这个问题的办法一般有两种:

替换XML解析器实现:

由于Oracle的JAXB实现不支持setXIncludeAware,你可以尝试更换为标准的Java XML解析器实现,例如使用Apache Xerces或者其他兼容的XML解析器。在Flink CDC Oracle CDC connector的类路径中优先加载兼容的解析器实现,确保在创建DocumentBuilderFactory时使用的是兼容的类。

禁用不支持的功能:

如果Flink CDC或相关的依赖库中试图设置setXIncludeAware,并且这不是必须的功能,可以在代码层面或者配置中去除对这一特性的依赖。

由于错误发生在Oracle的特定JAXP实现上,可能需要在Flink CDC Oracle CDC connector的配置或者使用时规避这个问题。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/596360?spm=a2c6h.13066369.question.10.283f3f3368YPLm

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
1天前
|
SQL 存储 关系型数据库
PolarDB-X CDC之"兼容MySQL,高于MySQL"
本文主要介绍一下PolarDB-X在CDC能力上那些高阶能力。
|
2天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之测试使用initial模式,使用savepoint停掉再加上表,不会做全量同步,是什么导致的
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之如何使用PostgreSQL2.4.1从指定时间戳同步数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2天前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用合集之mysqlcdc从指定时间戳同步是不是会抽取数据源全量binkog到cdc,然后cdc再根据时间戳进行过滤
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2天前
|
SQL 关系型数据库 MySQL
实时计算 Flink版产品使用合集之在Application模式下,如何在客户端中同步获取任务执行结果后再退出
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
2天前
|
SQL Java 数据库连接
实时计算 Flink版产品使用合集之同步数据到Doris的任务中,遇到在继续同步后再次点击下线无法下线,如何处理
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
8天前
|
关系型数据库 MySQL API
实时计算 Flink版产品使用合集之可以通过mysql-cdc动态监听MySQL数据库的数据变动吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
85 0
|
10天前
|
关系型数据库 MySQL 数据库
docker MySQL删除数据库时的错误(errno: 39)
docker MySQL删除数据库时的错误(errno: 39)
67 0
|
3天前
|
存储 SQL 关系型数据库
【MySQL】数据库基础 -- 详解
【MySQL】数据库基础 -- 详解
|
10天前
|
Java 关系型数据库 MySQL
【MySQL × SpringBoot 突发奇想】全面实现流程 · xlsx文件,Excel表格导入数据库的接口(下)
【MySQL × SpringBoot 突发奇想】全面实现流程 · xlsx文件,Excel表格导入数据库的接口
51 0

热门文章

最新文章

相关产品

  • 实时计算 Flink版
  • 推荐镜像

    更多