开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC抽取Oracle的问题,我昨天在oralce 创建了4张测试表,这什么原因?

Flink CDC抽取Oracle的问题,我昨天在oralce 创建了4张测试表,每张表插入了三四条数据,测试了一些简单的增删改查,但是Oracle归档日志一天就15G了,把空间占满了,oracle 都挂了 ,这什么原因,checkpoint 设置的太小了吗?

展开
收起
真的很搞笑 2023-12-04 08:09:41 59 0
4 条回答
写回答
取消 提交回答
  • Oracle还是买ogg把,oracle挂了... 那是服务器资源不够. 如果你用的不是oracle一体机, 只是 IOE 文件系统oracle ,是可以使用CDC进行同步的. ,此回答整理自钉群“Flink CDC 社区”

    2023-12-05 09:03:11
    赞同 展开评论 打赏
  • 根据您的描述,Oracle归档日志一天就达到了15GB并导致数据库崩溃,可能有以下几个原因:

    1. CDC抽取产生大量的数据变更:Flink CDC在抽取Oracle数据时,会监听数据库的事务日志(Redo Log),如果数据库中的表有频繁的数据变更操作,例如插入、更新和删除等,那么CDC会产生大量的变更事件,进而生成大量的归档日志。

    2. 数据库配置问题:检查Oracle数据库的归档日志模式及相关配置。如果数据库的归档模式设置为正常或批量,可能需要调整为另一种模式,如简单模式。此外,还可以检查其他相关配置项,如归档日志的保留时间、归档频率等。

    3. 设置合适的checkpoint间隔:检查Flink CDC的checkpoint配置。较小的checkpoint间隔可能会导致更频繁的状态保存和WAL确认,从而增加归档日志的产生。您可以尝试增大checkpoint间隔,以减少对归档日志的影响。

    4. 业务需求评估:评估您的业务需求是否真正需要实时的CDC抽取。如果不需要实时性,可以考虑降低CDC抽取的频率,例如更改调度策略、增加延迟等。这样可以减少归档日志的产生并保护数据库的稳定性。

    5. 调整CDC配置:根据实际情况,调整Flink CDC的相关配置,例如parallelism(并行度)、任务分发策略、数据过滤等。合理的配置可以减少不必要的资源消耗和归档日志的产生。

    2023-12-04 20:42:49
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Oracle归档日志占用空间过大的原因可能有多种,其中一种可能是Flink CDC抽取的速率过快,导致大量的数据被抽取并写入到Flink中。另外,如果checkpoint设置太小,可能会导致频繁的checkpoint操作,从而增加了归档日志的大小。

    为了解决这个问题,你可以尝试以下方法:

    1. 调整Flink CDC的抽取速率,可以通过增加或减少并行度、调整读取时间窗口大小等方式来控制抽取速率。
    2. 增加checkpoint间隔时间,可以减少checkpoint操作的频率,从而减少归档日志的大小。
    3. 优化Flink作业的配置,例如增加内存、调整并发度等,可以提高作业的性能和效率,减少对资源的消耗。
    2023-12-04 13:57:33
    赞同 展开评论 打赏
  • Oracle归档日志一天内快速增长到15G,可能是由于Flink CDC的一些配置不合理。在使用Flink CDC采集Oracle数据库时,需要正确配置相关参数,例如读取模式、批量读取大小、读取时间间隔等。此外,Flink CDC是基于Debezium的LogMiner实现,它需要使用Oracle的归档日志和补充日志来获取变更数据。

    如果出现了binlog日志归档的问题,可能会导致CDC无法正常工作。在这种情况下,可以采取以下两种措施:手动归档日志以释放空间,让Oracle继续写入归档日志;或者配置Oracle自动归档,以确保binlog日志的正常归档。

    2023-12-04 11:40:05
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
    PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
    Oracle云上最佳实践 立即下载

    相关镜像