开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

【百问百答】Flink cdc 报错问题汇总

本文罗列了Flink cdc 报错的相关问答,希望对有相同问题的技术人有所帮助。

1.Flink CDC报错了,这个应该怎么处理呀?

2.码和报错的截图是这2个,请问一下flink cdc postgresql的数据,用的是官网的demo,报这个错的是什么原因:Caused by: java.io.NotSerializableException: com.ververica.cdc.debezium.Validator$$Lambda$14/0x0000000800065840

3.这个报错谁能帮忙吗?flink 13.6 + flink_cdc_2.3.0
[org.apache.flink.runtime.source.coordinator.SourceCoordinator]Uncaught exception in the SplitEnumerator for Source Source: MySQL Source while starting the SplitEnumerator.. Triggering job failover. java.lang.NoClassDefFoundError: org/apache/flink/shaded/guava30/com/google/common/util/concurrent/ThreadFactoryBuilder 这个报错谁能帮忙吗?flink 13.6 + flink_cdc_2.3.0

4.问一下本地编译flink cdc 源码的时候报错 大家有遇到过的吗?

5.flink cdc 同步oracle 到 doris报错

6.flink 是13.6版本照着cdc connector的例子写的直接报错了能帮忙解决一下么?

7.Flink CDC全量没问题,增量报错 file is not a valid field name

8. Flink CDC这个报错是不是应错cdc的包了?有知道这个胖包去哪里找吗?我在maven仓库找不到

9.flink cdc 读取pgsql 报错这个怎么解决?

10.想问下Flink CDC job 报错、重试失败退出之后 重新拉起作业之后怎么回到之前的增量同步点?

11.flinkcdc2.3.0对接postgre这个报错大家有遇到过么?2023-04-10 06:06

12.Flink CDC换成2.3.0的时候报错,然后把flink-shaded-guava exclude后换成18.0-13.0的还是报错,为什么?

13.使用flinksql mongodb-cdc执行报错unable to create a source for reading table,这个怎么办?

14.Flink CDC实时采集 48小时没有数据来就报错 , 你们有遇到过吗?

15.大佬们我flink cdc实时同步db2数据,没有任何报错信息,但是也没有数据,我对db2做增删改的操作,都没有任何变化,这类问题该如何下手?我是要抽取数据(oracle、mysql、db2)到数据湖中。

16.关于Flink CDC,两个任务监控同一个mysql表,serverid改了,为啥还会报错重启?

17.这边flink-1.16.0,flink cdc 2.2.1 读取mysql报错连接超时,怎么办?

18.之前我flink cdc导入hudi表1W条数据不成功,原来是分区字段我用了id结果分区过多,一直写入超时,后来改好了用了几百分区的字段就没问题了,后来我尝试了导入百万数据的表也成功了,现在我尝试导入一亿多条数据的表,等了20多分钟,也不报错,也没内容写入hudi,正常吗?

19.请问这个报错是因为cdc和flink版本不匹配吗?

20.Flink CDC样例中关联订单数据并且将其写入 Elasticsearch 中这一步报错是缺少了什么东西吗?

21.flink-cdc-connectors 2.3.0 版本引用了 flink 1.16.0 是不有bug:
[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.

22.flink tidb cdc 报错,可能是什么问题呢?flink 版本 1.14.4 cdc

23.flink cdc 读取oracle报错,有遇到这种问题的吗

24.帮忙看下dinky0.7.2+flink1.14.6+flinkcdc2.3.0 报错时区问题 ?

25.如果Flink CDC pgsql库10几分钟更新几千万条数据,复制槽一下子从几十M到几千M,这种情况下如何保证cdc任务不报错,内存不溢出

26.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了,是不是要设置什么?

27.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了“内存不足错误

28.请问我使用Flink cdc 读mysql 然后jdbc 写入 mysql。想用upsert模式。但是使用官网上的 on duplicate key update 关键字 Flink报错说解析不了。请问是什么原因呢?FLink 1.13.x

29.使用flink cdc监听一个mysql表的binlog,debezuim反序列化日志 报错,为什么

30.想请教一下大家,有没有遇到过使用flink-connector-mysql-cdc(2.3.0),flink版本:1.14.6 ,消费mysql的binlog数据有丢失数据的情况,找不出原因,程序不报错,莫名奇妙就是SCN少了,就缺数据了

31.mysq flink cdc 2.3.0报错,有大佬知道什么原因吗?

32.请问有没有人遇到过使用MySQL CDC,然后Flink jdbc写Oracle sink, 因为写入出错(Oracle报错)不断重试,导致Oracle连接被耗完?

33.请问flink sql cdc pg或者mysql 报这个错的原因是什么,报错: Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

34.各位大侠,flink sql cdc pg或者mysql报这个错的原因是什么,报错: Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

35.Flink CDC同步某张表报上述错误,其它表没遇到该问题。issue 里也看到类似报错,求解决方法 Flink: 1.15.2 Oracle-connector: 2.3.0 Database: Oracle 19c
io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

36.flink cdc消费binlog报错,解析日期格式失败大家有遇到过吗?针对这种情况怎么设置默认值?

37.请教个问题,flink cdc同步sqlserver报错“无法更新数据库xxx,因为数据库是只读的”

38.flink从ck恢复 cdc报错了

39.flink CDC 当第一次全量正常输出后,源表中数据任何变更就无法再被捕获到了,为什么?

40.各位大佬Flink CDC cdc2.3 flink1.5 mysql执行一段时间就报错了?可以帮下忙吗?

41.flink cdc启动时候报错线程不够 可以通过什么方式解决吗

42.对于Flink CDC,pom文件(最外层的和这个模块的)明明已经没有blink了,为啥还报错?

43.flink-cdc 链接mysql时候serverTimeZone正常,为什么制定上海就报错?

44.在使用flink-connector-mysql-cdc 2.3.0的时候报错为什么啊?

45.flink cdc 2.3, flink 1.16.0 这个异常如何解决?为啥本地没问题,提交到yarn就报错 java.lang.NoClassDefFoundError: Could not initialize class io.debezium.embedded.EmbeddedEngine$EmbeddedConfig

46.请问大家,flink CDC说是支持clickhouse,但是我使用jdbc connector报错

47.Flink CDC oracle的历史数据,可以正常获取,但是新增数据,立马报错

48.在用FlinkCDC的时候有遇到过这个报错吗?

49.有老哥遇到过这情况嘛 已经给oracle表补充日志记录了 但是用flink cdc读还是报错让我

50.大佬们,请问下flink cdc采集mysql,碰到没有主键的表是不是就报错啊

展开
收起
提个问题 2023-12-29 16:54:14 129 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载