开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

FlinkCDC 支不支持从从库归档日志捕获数据,还是只能在主库上捕获?

Flink CDC应用系统在Oracle 上开启了主从同步,从库也开启了归档日志,FlinkCDC 支不支持从从库归档日志捕获数据,还是只能在主库上捕获?

展开
收起
cuicuicuic 2023-12-04 08:17:56 56 0
6 条回答
写回答
取消 提交回答
  • 不支持,oralce主从模式,是不支持从从库采集数据的。

    2024-03-12 12:15:34
    赞同 展开评论 打赏
  • Flink CDC支持从从库归档日志捕获数据。当同步Oracle数据库时,根据归档日志的保留时间配置,Flink CDC会从最近的归档日志开始抓取数据。例如,如果需要保留十个小时的归档日志,那么Flink CDC会从十个小时之前的最近的归档日志开始抓取数据。此外,Flink CDC是Flink社区开发的flink-cdc-connectors组件,可以直接从MySQL、PostgreSQL等数据库读取全量数据和增量变更数据。所以无论在主库还是从库上,只要设置了正确的参数,Flink CDC都可以捕获到所需要的数据。

    2023-12-04 22:56:16
    赞同 展开评论 打赏
  • 在Flink CDC中,通常情况下,主库是捕获数据变更的源头。但是,从库的归档日志实际上是主库的归档日志的副本。因此,通过直接连接到从库来捕获数据并不是一个常见的做法。

    Flink CDC更常用于直接连接到数据库的主库,并通过读取主库的日志(如MySQL的二进制日志或Oracle的归档日志)来捕获数据变更。这种方式可以确保数据的一致性和准确性,并且具有较低的延迟。

    如果您想要在Flink CDC中使用从库的归档日志来捕获数据变更,可能需要额外的自定义开发和配置。这可能涉及到解析和处理从库的归档日志,并将其转换为Flink CDC所需的格式。

    需要注意的是,这样做可能会带来一些挑战和复杂性,如数据一致性、延迟和同步问题等。因此,在考虑使用从库的归档日志进行数据捕获时,建议仔细评估需求和实际场景,并进行充分的测试和验证。

    2023-12-04 20:36:36
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC在捕获Oracle数据库变更数据时,是基于Debezium的LogMiner实现。LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。因此,无论Oracle是主库还是从库,只要相关表开启了归档日志和补充日志,Flink CDC都可以捕获到变更的数据。所以,Flink CDC支持从从库归档日志中捕获数据。

    2023-12-04 13:47:46
    赞同 展开评论 打赏
  • FlinkCDC可以从主库或者从库的归档日志中捕获数据。在Oracle数据库的主从同步架构中,主库和从库都会产生归档日志。FlinkCDC可以配置为从主库或者从库的归档日志中读取数据。但是,需要注意的是,如果FlinkCDC从从库的归档日志中读取数据,需要确保从库的归档日志保留了足够的历史数据,以便FlinkCDC可以捕获到所有需要的数据。同时,从库的归档日志保留策略可能会影响FlinkCDC的性能,因为FlinkCDC需要读取更多的日志来获取相同数量的数据。

    2023-12-04 11:17:16
    赞同 展开评论 打赏
  • Flink CDC(Change Data Capture)理论上支持从Oracle数据库的任何实例捕获数据,无论该实例是主库还是从库。通常情况下,CDC工具可以从日志中获取变更信息,而这些日志在主从同步环境中会被复制到所有相关的从库上。

    然而,在实践中需要注意以下几点:

    1. 延迟:由于主从同步之间存在延迟,所以从从库读取的数据可能会比主库稍微滞后一些。这取决于你的主从同步配置和网络延迟等因素。

    2. 数据一致性:如果你的应用需要非常强的一致性保证,那么可能需要直接从主库读取数据,以确保你得到的是最新的、最一致的数据状态。

    3. 归档日志配置:为了能够从从库的日志中正确地捕获数据,你需要确保从库的归档日志设置与主库相同或兼容,并且可以从日志中提取出完整的变更历史。

    4. 主从切换:如果主从环境支持故障转移,即从库可以提升为主库,那么当主从切换发生时,你的 Flink CDC 应用也需要能识别这种变化并切换到新的主库进行数据捕获。

    5. 性能影响:读取从库上的归档日志可能会对从库的性能产生一定影响,尤其是在高负载的情况下。因此,在设计系统时需要考虑这个因素,并根据实际情况调整读取策略。

    6. 许可和安全性:访问从库可能受到不同的权限限制和安全策略的影响,所以在部署 Flink CDC 时需要确保满足所有的访问要求。

    2023-12-04 09:25:54
    赞同 1 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载