AI 助理
备案控制台
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

【百问百答】Flink cdc 报错问题汇总

本文罗列了Flink cdc 报错的相关问答，希望对有相同问题的技术人有所帮助。

1.Flink CDC报错了，这个应该怎么处理呀？

2.码和报错的截图是这2个，请问一下flink cdc postgresql的数据，用的是官网的demo，报这个错的是什么原因：Caused by: java.io.NotSerializableException: com.ververica.cdc.debezium.Validator$$Lambda$14/0x0000000800065840

3.这个报错谁能帮忙吗？flink 13.6 + flink_cdc_2.3.0
[org.apache.flink.runtime.source.coordinator.SourceCoordinator]Uncaught exception in the SplitEnumerator for Source Source: MySQL Source while starting the SplitEnumerator.. Triggering job failover. java.lang.NoClassDefFoundError: org/apache/flink/shaded/guava30/com/google/common/util/concurrent/ThreadFactoryBuilder 这个报错谁能帮忙吗？flink 13.6 + flink_cdc_2.3.0

4.问一下本地编译flink cdc 源码的时候报错 大家有遇到过的吗？

5.flink cdc 同步oracle 到 doris报错

6.flink 是13.6版本照着cdc connector的例子写的直接报错了能帮忙解决一下么？

7.Flink CDC全量没问题，增量报错 file is not a valid field name

8. Flink CDC这个报错是不是应错cdc的包了？有知道这个胖包去哪里找吗？我在maven仓库找不到

9.flink cdc 读取pgsql 报错这个怎么解决？

10.想问下Flink CDC job 报错、重试失败退出之后 重新拉起作业之后怎么回到之前的增量同步点？

11.flinkcdc2.3.0对接postgre这个报错大家有遇到过么？2023-04-10 06:06

12.Flink CDC换成2.3.0的时候报错，然后把flink-shaded-guava exclude后换成18.0-13.0的还是报错，为什么？

13.使用flinksql mongodb-cdc执行报错unable to create a source for reading table，这个怎么办？

14.Flink CDC实时采集 48小时没有数据来就报错 ， 你们有遇到过吗？

15.大佬们我flink cdc实时同步db2数据，没有任何报错信息，但是也没有数据，我对db2做增删改的操作，都没有任何变化，这类问题该如何下手？我是要抽取数据（oracle、mysql、db2）到数据湖中。

16.关于Flink CDC，两个任务监控同一个mysql表,serverid改了,为啥还会报错重启？

17.这边flink-1.16.0，flink cdc 2.2.1 读取mysql报错连接超时，怎么办？

18.之前我flink cdc导入hudi表1W条数据不成功，原来是分区字段我用了id结果分区过多，一直写入超时，后来改好了用了几百分区的字段就没问题了，后来我尝试了导入百万数据的表也成功了，现在我尝试导入一亿多条数据的表，等了20多分钟，也不报错，也没内容写入hudi，正常吗？

19.请问这个报错是因为cdc和flink版本不匹配吗？

20.Flink CDC样例中关联订单数据并且将其写入 Elasticsearch 中这一步报错是缺少了什么东西吗？

21.flink-cdc-connectors 2.3.0 版本引用了 flink 1.16.0 是不有bug:
[ERROR] Could not execute SQL statement. Reason: org.apache.flink.table.api.ValidationException: The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.

22.flink tidb cdc 报错，可能是什么问题呢？flink 版本 1.14.4 cdc

23.flink cdc 读取oracle报错，有遇到这种问题的吗

24.帮忙看下dinky0.7.2+flink1.14.6+flinkcdc2.3.0 报错时区问题 ？

25.如果Flink CDC pgsql库10几分钟更新几千万条数据，复制槽一下子从几十M到几千M，这种情况下如何保证cdc任务不报错，内存不溢出

26.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了，是不是要设置什么？

27.flink-cdc 从数据库插入hudi表一万多条数据的过程中报错了“内存不足错误

28.请问我使用Flink cdc 读mysql 然后jdbc 写入 mysql。想用upsert模式。但是使用官网上的 on duplicate key update 关键字 Flink报错说解析不了。请问是什么原因呢？FLink 1.13.x

29.使用flink cdc监听一个mysql表的binlog，debezuim反序列化日志 报错，为什么

30.想请教一下大家，有没有遇到过使用flink-connector-mysql-cdc（2.3.0），flink版本：1.14.6 ，消费mysql的binlog数据有丢失数据的情况，找不出原因，程序不报错，莫名奇妙就是SCN少了，就缺数据了

31.mysq flink cdc 2.3.0报错，有大佬知道什么原因吗？

32.请问有没有人遇到过使用MySQL CDC，然后Flink jdbc写Oracle sink， 因为写入出错（Oracle报错）不断重试，导致Oracle连接被耗完？

33.请问flink sql cdc pg或者mysql 报这个错的原因是什么，报错： Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

34.各位大侠，flink sql cdc pg或者mysql报这个错的原因是什么，报错： Exception in thread "main" org.apache.flink.table.api.ValidationException: Unable to create a source for reading table 'default_catalog.default_database.pgsql_source'

35.Flink CDC同步某张表报上述错误，其它表没遇到该问题。issue 里也看到类似报错，求解决方法 Flink: 1.15.2 Oracle-connector: 2.3.0 Database: Oracle 19c
io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.

36.flink cdc消费binlog报错，解析日期格式失败大家有遇到过吗？针对这种情况怎么设置默认值？

37.请教个问题，flink cdc同步sqlserver报错“无法更新数据库xxx，因为数据库是只读的”

38.flink从ck恢复 cdc报错了

39.flink CDC 当第一次全量正常输出后，源表中数据任何变更就无法再被捕获到了，为什么？

40.各位大佬Flink CDC cdc2.3 flink1.5 mysql执行一段时间就报错了？可以帮下忙吗？

41.flink cdc启动时候报错线程不够 可以通过什么方式解决吗

42.对于Flink CDC，pom文件（最外层的和这个模块的）明明已经没有blink了，为啥还报错？

43.flink-cdc 链接mysql时候serverTimeZone正常，为什么制定上海就报错？

44.在使用flink-connector-mysql-cdc 2.3.0的时候报错为什么啊？

45.flink cdc 2.3, flink 1.16.0 这个异常如何解决?为啥本地没问题，提交到yarn就报错 java.lang.NoClassDefFoundError: Could not initialize class io.debezium.embedded.EmbeddedEngine$EmbeddedConfig

46.请问大家，flink CDC说是支持clickhouse，但是我使用jdbc connector报错

47.Flink CDC oracle的历史数据，可以正常获取，但是新增数据，立马报错

48.在用FlinkCDC的时候有遇到过这个报错吗？

49.有老哥遇到过这情况嘛 已经给oracle表补充日志记录了 但是用flink cdc读还是报错让我

50.大佬们，请问下flink cdc采集mysql，碰到没有主键的表是不是就报错啊

展开
收起
提个问题 2023-12-29 16:54:14 168 0
0 条回答
写回答
取消 提交回答
问答分类：
流计算 关系型数据库 MySQL Oracle 数据库 Java 数据库连接 SQL Maven Apache 云数据库 RDS SQL Server 版 日志服务 实时计算 Flink版 云原生数据库 PolarDB 云数据库 RDS MySQL 版 云数据库 MongoDB 版 检索分析服务 Elasticsearch版 云解析DNS 云数据库 ClickHouse
问答标签：
实时计算 Flink版CDC 实时计算 Flink版报错 实时计算 Flink版cdc报错
问答地址：
开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答
相关产品：
实时计算 Flink版

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答
实时计算 Flink版
在Flink CDC中flink版本1.15，写入kafka报错，如何解决？
49
1
0
flink cdc 采集oracle 间歇性丢数据，日志里也没报错的情况，怎么回事？
130
0
0
flinkcdc1.1.6 hadoop版本3.0.0 ，但是跑cdc作业时出现这个报错 怎么解决？
46
0
0
flink cdc oracle 这个报错有遇到过的吗？
68
1
0
在Flink CDC中如下报错如何解决？
139
0
0
在Flink CDC中如图所示这个报错是因为什么原因？
45
1
0
在Flink CDC中StartupOptions.latest()正常运行但是如下却报错？
187
12
0
在Flink CDC中oceanbase oracle initial模式全量转增量读取报错怎么办？
89
8
0
Flink CDC里遇到过SInk到Kafka的这个报错么？
54
0
0
Flink CDC里MYSQL 同步到doris 中，mysql doris都没有这个IP怎么报错
38
0
0
大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 热门讨论

    热门文章

  • FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
    1411
  • flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
    161
  • Caused by: org.apache.kafka.common.errors.TimeoutE
    3296
  • 大佬，Caused by: java.lang.ClassNotFoundException: or
    501
  • 请问flink-connector-jdbc在sink时，如何设置批量写入？
    3135
  • Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
    1238
  • Flink sql将数组炸开，实现hive的explode函数的效果，还有什么其他好的方式？
    1536
  • FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
    3557
  • Flink的tmp的这个目录产生临时文件很大，我想配置到外面，有配置项可以配置吗？
    892
  • Flink如何配置Task Manager？
    651
    • 展开全部
  • 数据仓库介绍与实时数仓案例
    42406
  • 实时计算 Flink SQL 核心功能解密
    19312
  • Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化
    27933
  • 流计算StreamCompute
    18669
  • Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
    23366
  • 阿里云实时计算产品案例&解决方案汇总
    27864
  • Apache Flink 的迁移之路，2 年处理效果提升 5 倍
    9742
  • 基于实时计算（Flink）打造一个简单的实时推荐系统
    14394
  • Flink Checkpoint 问题排查实用指南
    13189
  • 史上超强阵容！大数据及人工智能领域顶级盛会，Flink Forward Asia 2019 不容错过！
    9419
    • 展开全部

    相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
    609
    29
    去学习
  • Apache Flink 入门到实战 - Flink开源社区出品
    1635
    16
    去学习
  • 实时计算 Flink 版产品入门与实操
    4023
    10
    去学习
  • 开源 Flink 极速上手教程
    1863
    7
    去学习
  • 大数据实时计算框架Spark快速入门
    1023
    93
    去学习
  • Apache Flink 入门
    5122
    9
    去学习

    • 相关文章

  • 深度写作：深入源码理解MQ长轮询优化机制
  • 深入源码理解MQ长轮询优化机制
  • RocketMQ文件刷盘机制深度解析与Java模拟实现
  • 基于PSO-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
  • ChatClient：探索与AI模型通信的Fluent API

    • 相关电子书

    更多
    • Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关实验场景

    更多
  • 使用Flink实时发现最热Github项目
    1129
    1.0小时
    去实验
  • 5分钟上手Flink MySQL连接器
    430
    1.0小时
    去实验
  • 基于Flink+Tair搭建实时监控大屏
    151
    1.0小时
    去实验
  • 基于Hologres+Flink搭建GitHub实时数据大屏
    145
    1.0小时
    去实验