开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

FlinkCDC同步oracle数据的时候报错

报错信息为:Caused by: io.debezium.DebeziumException: Online REDO LOG files or archive log files do not contain the offset scn 17674590. Please perform a new snapshot.

展开
收起
iwhale-小周 2023-12-04 16:10:33 302 0
1 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    这个错误是由于Flink CDC在同步Oracle数据时,找不到指定的偏移量(offset scn)17674590。为了解决这个问题,你需要执行一个新的快照。

    解决方法:

    1. 停止当前的Flink CDC任务。
    2. 删除现有的Oracle数据库快照文件。
    3. 重新创建一个新的Oracle数据库快照。
    4. 重新启动Flink CDC任务。

    具体操作步骤如下:

    1. 停止当前的Flink CDC任务。你可以使用以下命令来停止任务:
    ./bin/flink stop -t <job-id>
    

    <job-id>替换为你的Flink CDC任务的ID。

    1. 删除现有的Oracle数据库快照文件。你需要找到并删除与Flink CDC相关的Oracle数据库快照文件。这些文件通常位于$FLINK_HOME/connectors/jdbc/oracle/snapshots目录下。

    2. 重新创建一个新的Oracle数据库快照。你可以使用以下命令来创建新的快照:

    ./bin/flink run -p oracle-cdc --from-jars flink-connector-oracle-cdc_2.11-1.13.2.jar /path/to/your/sql/script.sql
    

    /path/to/your/sql/script.sql替换为你的SQL脚本文件路径。这个脚本文件应该包含创建新快照所需的所有SQL语句。

    1. 重新启动Flink CDC任务。你可以使用以下命令来启动任务:
    ./bin/flink run -t <job-id>
    

    <job-id>替换为你的Flink CDC任务的ID。

    2023-12-04 20:06:54
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
Oracle云上最佳实践 立即下载

相关镜像