开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

各位大佬,oracle cdc使用的时候因为数据变化量比较大导致在flink同步的时候,整个orac

各位大佬,oracle cdc使用的时候因为数据变化量比较大导致在flink同步的时候,整个oracle被拖的非常慢,这个有什么比较好的解决方案吗?oracle cdc是不是本身就不是很健全,要做oracle的实时同步有什么比较好方式吗

展开
收起
雪哥哥 2022-11-14 22:26:46 1076 0
5 条回答
写回答
取消 提交回答
  • 网站:http://ixiancheng.cn/ 微信订阅号:小马哥学JAVA

    Oracle CDC提供了两种工作模式,读取全量数据+增量变更数据、只读取增量变更数据。并且可以保证Flink CDC框架均保证一条不多一条不少的Exactly-Once的处理。这个时候可以选择第二种模式,只读取增量变更数据进行处理。

    2022-11-29 12:34:19
    赞同 1 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    使用GoldenGate来进行读写分离,在线实时供给,这样就可以让传输的数据量降低,提高运行效率。

    2022-11-26 08:03:38
    赞同 展开评论 打赏
  • coder at work

    可以试试 oracle 的 GoldenGate

    2022-11-23 22:01:23
    赞同 展开评论 打赏
  • GoldenGate可以用于多种不同的操作系统平台(Unix、Linux、Windows)和多种不同数据库系统(如Oracle、SQL Server、MySQL、DB2等)之间的数据同步,是极优秀的数据集成产品。 GoldenGate是Oracle在数据迁移和数据同步方面要重点发展的产品,功能强大,可以跨平台,跨数据库。应用场景很多:可以做数据库同步; 容灾备份; 实现读写分离,实时数据库仓库供给,负载均衡等等。 相比DataGuard传输整个日志文件相比,GoldenGate传输的数据量大大降低;同时,目标数据库是出于Open状态,所占系统资源较少,对网络 带宽要求更低;与Streams相比,GoldenGate也支持一对多,多对一,双向复制等。

    2022-11-23 16:12:38
    赞同 展开评论 打赏
  • 天下风云出我辈,一入江湖岁月催,皇图霸业谈笑中,不胜人生一场醉。

    可以使用在线挖掘的模式,不写入数据字典到 redo log 中,但是这样无法处理 DDL 语句(但是对于生产环境,一般不会进行 DDL 操作,业务上也仅需要捕捉 DML 操作即可)。生产环境默认策略读取 log 较慢,且默认策略会写入数据字典信息到 redo log 中导致日志量增加较多,可以添加如下 debezium 的配置项。 'log.mining.strategy' = 'online_catalog','log.mining.continuous.mine' = 'true'。如果使用 SQL 的方式,则需要在配置项中加上前缀 'debezium.',即: 'debezium.log.mining.strategy' = 'online_catalog', 'debezium.log.mining.continuous.mine' = 'true'

    2022-11-23 10:49:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像