开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问flink CDC中获取oracle变更日志报这个错,请问是啥原因导致的?

问题1:dbecf19d9f2942fa24f3456c72833ae9.png
请问flink CDC中flink1.17 +oracle cdc2.4, parallelism.default设置大于1,获取oracle变更日志报这个错,请问是啥原因导致的?
问题2:这个包要自己修改吗?

展开
收起
十一0204 2023-07-19 16:38:12 66 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    数据源配置错误:在配置 Flink CDC 数据源时,可能会出现配置错误的情况。例如,连接字符串、用户名、密码等参数配置错误,可能会导致 Flink CDC 无法正确连接到 Oracle 数据库。

    Oracle 日志配置错误:在 Oracle 中,Flink CDC 通过读取数据库的日志来捕捉数据变化。如果 Oracle 日志配置不正确,可能会导致 Flink CDC 无法正确捕捉数据变化。

    表配置错误:在配置 Flink CDC 表时,可能会出现表配置错误的情况。例如,表名、列名、主键、数据类型等配置不正确,可能会导致 Flink CDC 无法正确识别表结构以及数据变化。

    Flink CDC 版本问题:如果您使用的是较旧的 Flink CDC 版本,可能会存在某些数据捕捉方面的问题。建议您升级到最新版本的 Flink CDC,以确保其稳定性和可靠性。

    针对这个问题,您可以采取以下措施进行排查和解决:

    检查数据源配置:您需要检查 Flink CDC 数据源配置是否正确,例如连接字符串、用户名、密码等参数是否正确。

    检查 Oracle 日志配置:您需要检查 Oracle 日志配置是否正确,并确保 Flink CDC 能够正确访问 Oracle 日志。

    检查表配置:您需要检查 Flink CDC 表配置是否正确,例如表名、列名、主键、数据类型等配置是否正确。

    检查 Flink CDC 版本:您需要检查 Flink CDC 的版本,并升级到最新版本,以确保其稳定性和可靠性。

    2023-07-29 21:07:51
    赞同 展开评论 打赏
  • 意中人就是我呀!

    "回答1:42edb35818970cfde5dc590df2c54d37.png
    Oracle cdc有重写这个类,可能是有类冲突,导致加载的不是oracle cdc修改过的类。
    回答2: 有个issue 记录问题https://github.com/ververica/flink-cdc-connectors/issues/2234,目前还没确定以什么方式修复。目前可能需要自行打包,shade下对应的包,参考sql module的pom此回答整理至钉群“Flink CDC 社区”。"

    2023-07-19 17:30:59
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载