备案控制台
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

【百问百答】Flink cdc 报错问题汇总

本文罗列了Flink cdc 报错的相关问答，希望对有相同问题的技术人有所帮助。

1.Flink CDC报错了，这个应该怎么处理呀？

2.码和报错的截图是这2个，请问一下flink cdc postgresql的数据，用的是官网的demo，报这个错的是什么原因：Caused by: java.io.NotSerializableException: com.ververica.cdc.debezium.Validator$$Lambda$14/0x0000000800065840

3.这个报错谁能帮忙吗？flink 13.6 + flink_cdc_2.3.0
[org.apache.flink.runtime.source.coordinator.SourceCoordinator]Uncaught exception in the SplitEnumerator for Source Source: MySQL Source while starting the SplitEnumerator.. Triggering job failover. java.lang.NoClassDefFoundError: org/apache/flink/shaded/guava30/com/google/common/util/concurrent/ThreadFactoryBuilder 这个报错谁能帮忙吗？flink 13.6 + flink_cdc_2.3.0

4.问一下本地编译flink cdc 源码的时候报错 大家有遇到过的吗？

5.flink cdc 同步oracle 到 doris报错

6.flink 是13.6版本照着cdc connector的例子写的直接报错了能帮忙解决一下么？

7.Flink CDC全量没问题，增量报错 file is not a valid field name

8. Flink CDC这个报错是不是应错cdc的包了？有知道这个胖包去哪里找吗？我在maven仓库找不到

9.flink cdc 读取pgsql 报错这个怎么解决？

10.想问下Flink CDC job 报错、重试失败退出之后 重新拉起作业之后怎么回到之前的增量同步点？

11.flinkcdc2.3.0对接postgre这个报错大家有遇到过么？2023-04-10 06:06

12.Flink CDC换成2.3.0的时候报错，然后把flink-shaded-guava exclude后换成18.0-13.0的还是报错，为什么？

13.使用flinksql mongodb-cdc执行报错unable to create a source for reading table，这个怎么办？

14.Flink CDC实时采集 48小时没有数据来就报错 ， 你们有遇到过吗？

15.大佬们我flink cdc实时同步db2数据，没有任何报错信息，但是也没有数据，我对db2做增删改的操作，都没有任何变化，这类问题该如何下手？我是要抽取数据（oracle、mysql、db2）到数据湖中。

16.关于Flink CDC，两个任务监控同一个mysql表,serverid改了,为啥还会报错重启？

17.这边flink-1.16.0，flink cdc 2.2.1 读取mysql报错连接超时，怎么办？

18.之前我flink cdc导入hudi表1W条数据不成功，原来是分区字段我用了id结果分区过多，一直写入超时，后来改好了用了几百分区的字段就没问题了，后来我尝试了导入百万数据的表也成功了，现在我尝试导入一亿多条数据的表，等了20多分钟，也不报错，也没内容写入hudi，正常吗？

19.请问这个报错是因为cdc和flink版本不匹配吗？

20.Flink CDC样例中关联订单数据并且将其写入 Elasticsearch 中这一步报错是缺少了什么东西吗？

21.flink-cdc-connectors 2.3.0 版本引用了 flink 1.16.0 是不有bug:
[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.

22.flink tidb cdc 报错，可能是什么问题呢？flink 版本 1.14.4 cdc

23.flink cdc 读取oracle报错，有遇到这种问题的吗

24.帮忙看下dinky0.7.2+flink1.14.6+flinkcdc2.3.0 报错时区问题 ？

25.如果Flink CDC pgsql库10几分钟更新几千万条数据，复制槽一下子从几十M到几千M，这种情况下如何保证cdc任务不报错，内存不溢出

26.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了，是不是要设置什么？

27.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了“内存不足错误

28.请问我使用Flink cdc 读mysql 然后jdbc 写入 mysql。想用upsert模式。但是使用官网上的 on duplicate key update 关键字 Flink报错说解析不了。请问是什么原因呢？FLink 1.13.x

29.使用flink cdc监听一个mysql表的binlog，debezuim反序列化日志 报错，为什么

30.想请教一下大家，有没有遇到过使用flink-connector-mysql-cdc（2.3.0），flink版本：1.14.6 ，消费mysql的binlog数据有丢失数据的情况，找不出原因，程序不报错，莫名奇妙就是SCN少了，就缺数据了

31.mysq flink cdc 2.3.0报错，有大佬知道什么原因吗？

32.请问有没有人遇到过使用MySQL CDC，然后Flink jdbc写Oracle sink， 因为写入出错（Oracle报错）不断重试，导致Oracle连接被耗完？

33.请问flink sql cdc pg或者mysql 报这个错的原因是什么，报错： Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

34.各位大侠，flink sql cdc pg或者mysql报这个错的原因是什么，报错： Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

35.Flink CDC同步某张表报上述错误，其它表没遇到该问题。issue 里也看到类似报错，求解决方法 Flink: 1.15.2 Oracle-connector: 2.3.0 Database: Oracle 19c
io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

36.flink cdc消费binlog报错，解析日期格式失败大家有遇到过吗？针对这种情况怎么设置默认值？

37.请教个问题，flink cdc同步sqlserver报错“无法更新数据库xxx，因为数据库是只读的”

38.flink从ck恢复 cdc报错了

39.flink CDC 当第一次全量正常输出后，源表中数据任何变更就无法再被捕获到了，为什么？

40.各位大佬Flink CDC cdc2.3 flink1.5 mysql执行一段时间就报错了？可以帮下忙吗？

41.flink cdc启动时候报错线程不够 可以通过什么方式解决吗

42.对于Flink CDC，pom文件（最外层的和这个模块的）明明已经没有blink了，为啥还报错？

43.flink-cdc 链接mysql时候serverTimeZone正常，为什么制定上海就报错？

44.在使用flink-connector-mysql-cdc 2.3.0的时候报错为什么啊？

45.flink cdc 2.3, flink 1.16.0 这个异常如何解决?为啥本地没问题，提交到yarn就报错 java.lang.NoClassDefFoundError: Could not initialize class io.debezium.embedded.EmbeddedEngine$EmbeddedConfig

46.请问大家，flink CDC说是支持clickhouse，但是我使用jdbc connector报错

47.Flink CDC oracle的历史数据，可以正常获取，但是新增数据，立马报错

48.在用FlinkCDC的时候有遇到过这个报错吗？

49.有老哥遇到过这情况嘛 已经给oracle表补充日志记录了 但是用flink cdc读还是报错让我

50.大佬们，请问下flink cdc采集mysql，碰到没有主键的表是不是就报错啊

展开
收起
提个问题 2023-12-29 16:54:14 143 0
0 条回答
写回答
取消 提交回答
问答分类：
流计算 关系型数据库 MySQL Oracle 数据库 Java 数据库连接 SQL Maven Apache 云数据库 RDS SQL Server 版 日志服务 实时计算 Flink版 云原生数据库 PolarDB 云数据库 RDS MySQL 版 云数据库 MongoDB 版 检索分析服务 Elasticsearch版 云解析DNS 云数据库 ClickHouse
问答标签：
实时计算 Flink版CDC 实时计算 Flink版报错 实时计算 Flink版cdc报错
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
flink cdc整库同步mysql数据到doris，报错找不到mysql驱动包如何操作？
21
1
0
Flink CDC里这个报错有人知道啥原因吗？
27
1
0
Flink CDC里cdc2.4.0出现这个报错，如果任务失败，失败保留2个小时就看不到了是为啥？
42
1
0
flink cdc 采集oracle 为啥报错？
38
0
0
在Flink CDC中cdc版本2.3 OracleCDC 当日志归档删除以后任务报错怎么处理？
26
0
0
在Flink CDC中如下报错，如何解决？
27
0
0
在Flink CDC中如图所示报错如何解决？
17
1
0
flink cdc采集oracle 的adg备份库报错，这种情况如何解决？
33
0
0
在Flink CDC中升级到Flink 1.18.1 + CDC 3.1.0后运行任务报错如何解决？
19
1
0
Flink CDC里我这边使用的是cdc3.0版本 发现sqlserver数据库新增字段后作业报错？
41
1
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • flink 和flink cdc 和 flink sql client 啥区别？
    326
  • 请问如何用flink sql客户端用yarn application模式提交任务呢？
    571
  • 不同版本的 flink 如何适配不同版本 kafka，flink-connect-kafka 版本
    310
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    2180
  • flink Task 故障恢复
    49
  • Flink CDC有遇见这个问题的吗？
    791
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    2521
  • flink web UI 是不是本身不支持登录认证，必须通过nginx来加登录认证？
    827
  • Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
    663
  • Flink web ui怎么做 登录拦截或者鉴权？
    332
    • 展开全部
  • 贝壳找房基于Flink+Paimon进行全量数据实时分组排序的实践
    28358
  • Apache Paimon统一大数据湖存储底座
    13374
  • 阿里云实时计算产品案例&解决方案汇总
    26572
  • 史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
    9288
  • Apache Flink 漫谈系列(15) - DataStream Connectors之Kafka
    8825
  • 基于实时计算（Flink）与高斯模型构建实时异常检测系统
    7781
  • Apache Flink 零基础入门教程（六）：状态管理及容错机制
    6025
  • Apache Flink 漫谈系列(06) - 流表对偶(duality)性
    9402
  • 如何分析及处理 Flink 反压？
    14686
  • 实时欺诈检测（风控）
    5161
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    599
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1567
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    3962
    10
    去学习
  • 开源 Flink 极速上手教程
    1836
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    956
    93
    去学习
  • Apache Flink 入门
    5055
    9
    去学习

    • 相关文章

  • Action:Consider the following: If you want an embedde ，springBoot配置数据库，补全springBoot的xml和mysql配置信息就好了
  • JDBC的路径讲解？
  • SpringBoot第一次导入项目，Maven依赖全爆红，该怎样解决，idea2019.3版本，必须用application2.7.6或者以下
  • Class path contains multiple SLF4J bindings，后来找到的解决思路是idea2019.3必须用java11和idea2019.3版本，必须用applicatio
  • 如何使用Maven构建SpringBoot项目

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • 使用Flink实时发现最热Github项目
    904
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    256
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    43
    1.0小时
    去实验
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    55
    1.0小时
    去实验