开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中这个参数在连接oracle19c版本数据库中不支持怎么办?

Flink CDC中 'debezium.log.mining.continuous.mine' ='true' 这个参数在连接oracle19c版本数据库中不支持怎么办?

展开
收起
cuicuicuic 2023-12-04 08:09:41 105 0
5 条回答
写回答
取消 提交回答
  • 这个参数会不会是debezium的,当使用API时候,flink cdc传入参数是否不需要debezium,而是log.mining.continuous.mine;因为
    debezium 1.9.7.final源码的
    debezium-connector-oracle\src\main\java\io\debezium\connector\oracle\OracleConnectorConfig.java
    类中的164行中参数是:public static final Field CONTINUOUS_MINE = Field.create("log.mining.continuous.mine")

    2024-03-28 10:42:23
    赞同 展开评论 打赏
  • 19c,我也遇到了,然后我直接不用这个参数 ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 09:10:26
    赞同 展开评论 打赏
  • 如果您在使用Flink CDC连接Oracle 19c数据库时发现参数 'debezium.log.mining.continuous.mine' 不被支持,您可以考虑以下解决方案:

    1. 检查数据库版本:确保您的Oracle数据库版本与您使用的Flink CDC版本兼容。某些功能可能在较旧或较新的数据库版本中不可用。升级数据库或选择适当版本的Flink CDC可能是解决问题的一种方法。

    2. 查询CDC功能:在Oracle 19c中,CDC(Change Data Capture)提供了自己的机制来捕获数据变更。您可以探索Oracle 19c的CDC功能,并根据需要进行配置和使用。这样可以绕过Flink CDC中不受支持的参数。

    3. 自定义开发:如果Oracle 19c的CDC功能无法满足您的需求,并且Flink CDC中的特定参数不受支持,您可能需要考虑自定义开发解决方案。通过编写自己的数据捕获逻辑,您可以直接连接到Oracle 19c并捕获数据变更,以满足您的需求。

    4. 寻求其他解决方案:如果以上方法都无法满足您的需求,您可能需要考虑其他数据同步和捕获工具。有许多第三方工具和库可与Oracle数据库集成,并提供类似的CDC功能。

    2023-12-04 20:42:52
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    如果在使用Flink CDC连接Oracle 19c版本数据库时,'debezium.log.mining.continuous.mine' = 'true'这个参数不支持,你可以尝试以下几种解决方案:

    1. 使用Flink CDC的默认行为:在Flink CDC中,'debezium.log.mining.continuous.mine'参数默认为false。这意味着Flink CDC会定期(默认每5秒)从数据库中获取增量日志,而不是持续地挖掘这些日志。如果你的应用可以接受这种模式,那么可以直接使用默认设置。

    2. 修改Debezium配置:如果你需要持续地挖掘增量日志,可以考虑修改Debezium的配置。具体来说,你可以在Debezium的JDBC连接器配置中添加'statementsMaxRows'参数,并设置一个较大的值(例如10000)。这样,Debezium就会尽可能地读取更多的行数据,从而更接近于持续挖掘的效果。

    3. 使用其他源连接器:如果以上两种方法都不能满足你的需求,那么你可能需要寻找其他的源连接器。例如,Apache Kafka Connect和Debezium一起使用时,可以提供更灵活的增量日志处理选项。

    2023-12-04 13:51:22
    赞同 展开评论 打赏
  • 在FlinkCDC中,'debezium.log.mining.continuous.mine' ='true'这个参数用于设置LogMiner持续挖掘模式。如果你在连接Oracle19c版本数据库时发现这个参数不被支持,可能是因为Oracle19c版本数据库的LogMiner接口发生了变化,或者是因为FlinkCDC的OracleCDC连接器还没有更新到这个参数的支持。

    在这种情况下,你可以尝试以下几种方法来解决这个问题:

    1. 检查FlinkCDC的版本:确认是否已经升级到了最新版本,新版本可能会修复这个问题。

    2. 查阅Oracle官方文档:确认Oracle19c版本数据库是否支持这个参数的持续挖掘模式。

    3. 修改参数值:如果Oracle19c版本数据库支持这个参数,但FlinkCDC的OracleCDC连接器无法识别,你可以尝试修改这个参数的值,看看是否能够正常工作。

    2023-12-04 11:20:10
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    2022 DTCC-阿里云一站式数据库上云最佳实践 立即下载
    云时代的数据库技术趋势 立即下载
    超大型金融机构国产数据库全面迁移成功实践 立即下载

    相关镜像