开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink cdc 采集oracle 间歇性丢数据,日志里也没报错的情况,怎么回事?

flink cdc 采集oracle 间歇性丢数据,日志里也没报错的情况,使用 3.0 的 pipline 从 MySQL 向 Doris 同步数据的问题

flink 上跑的任务中断过,所以改用了 timestamp 的模式,然后过程中间,对表结构有过变化,数据复制链路就中断了;

报错提示:Caused by: com.ververica.cdc.connectors.mysql.debezium.task.context.exception.SchemaOutOfSyncException: Internal schema representation is probably out of sync with real database schema.
Internal schema representation is probably out of sync with real database schema. The reason could be that the table schema was changed after the starting binlog offset, which is not supported when startup mode is set to TIMESTAMP

然后尝试了其他的集中启动模式,都相同。

那是不是只能采用默认的 initial 从头进行数据同步和表结构映射呢?

展开
收起
小小鹿鹿鹿 2024-02-06 21:29:17 39 0
0 条回答
写回答
取消 提交回答

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载

    相关镜像