开发者社区 > 大数据与机器学习 > 正文

这个flinkcdc是不是不支持在Oracle 备库跑的?我们今天直接生产主库连接打爆了?

这个flinkcdc是不是不支持在Oracle 备库跑的?我们今天直接生产主库连接打爆了?

展开
收起
真的很搞笑 2023-05-23 17:16:26 167 0
6 条回答
写回答
取消 提交回答
  • 要在 Oracle 备库上运行 FlinkCDC,需要确保备库已经配置为可读写模式。在 Oracle 数据库中,备库通常是只读的,用于数据备份和容灾。要在备库上运行 FlinkCDC,需要修改备库的配置,以允许写入操作。

    一旦备库配置为可读写模式,您可以使用 FlinkCDC 连接到备库,并配置相应的任务来捕获和同步数据变化。

    需要注意的是,在使用 FlinkCDC 或任何其他 CDC 工具时,都需要谨慎处理数据库配置和操作,以免对数据库的正常运行产生影响。

    2023-08-26 07:49:00
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,阿里云flinkcdc是支持在Oracle备库上运行的,但是需要注意以下几点:

    1. 在备库上部署flinkcdc需要保证备库和主库的Oracle版本一致,并且需要开启备库的归档模式。

    2. 在备库上部署flinkcdc需要先停止备库的应用进程,让备库成为只读的状态,否则可能会丢失数据或导致主备库不一致。

    3. 在备库上部署flinkcdc时,需要配置好正确的IP、端口、用户名和密码等参数,以确保可以正常连接到备库。

    如果您的生产主库连接打爆了,可能是由于连接数过多导致的。您可以调整连接池的最大连接数,或者优化CDC任务的并发度来减少连接数,以避免再次出现连接打爆的情况。

    2023-08-21 13:50:13
    赞同 展开评论 打赏
  • Flink CDC 支持连接 Oracle 数据库的主库和备库,但是在使用备库时需要注意一些问题。

    1,备库通常是只读的,因此您需要确保 Flink CDC 只从备库读取数据,并且不会对备库进行写操作。如果您在备库上执行了写操作,可能会导致主备同步出现问题,进而影响到生产环境的稳定性。

    2,备库通常会有一定的延迟,因此您需要考虑如何处理延迟数据。如果您需要实时处理数据,可以考虑使用主库进行数据同步;如果您可以容忍一定的延迟,可以使用备库进行数据同步,并根据延迟情况调整数据处理策略。

    3,如果您在使用备库时出现了性能问题,可以考虑优化备库的配置和性能,例如增加硬件资源、优化 SQL 查询等。

    2023-08-16 15:35:43
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink CDC 支持在 Oracle 备库运行,以避免对生产主库的直接连接和潜在的性能问题。使用备库作为 Flink CDC 的数据源可以减轻对主库的负载,并提供更好的容错性和可扩展性。

    通过连接到备库,Flink CDC 可以捕获备库上的变更日志,并将其转化为数据流进行处理。这种方式可以确保 Flink CDC 不会对生产主库的性能产生显著影响,并减少对主库的并发连接数量。

    您可以在 Flink CDC 的配置中指定连接备库的相关参数,例如备库的连接信息、用户名、密码等。确保您在配置连接时使用备库的连接信息,而不是主库的连接信息。

    但是需要注意的是,使用备库作为 Flink CDC 的数据源可能会导致数据延迟。由于备库需要接收来自主库的数据变更并应用到备库上,备库上的变更日志可能会有一定的延迟。这意味着 Flink CDC 可能无法立即捕获到最新的变更并进行实时处理。

    另外,确保在配置 Flink CDC 连接时,使用具有足够权限的数据库用户进行连接,以便 Flink CDC 可以成功连接到备库并读取变更日志。

    2023-08-14 18:42:36
    赞同 展开评论 打赏
  • 全栈JAVA领域创作者

    Flink CDC是支持在Oracle备库上运行的,但是需要注意以下几点:

    数据源连接:如果您使用Flink CDC读取Oracle备库中的数据,那么您需要在配置文件中,指定database参数和host参数,以指定数据源的名称和地址。
    补充日志:如果您的数据源表和数据库都需要开启补充日志,那么您需要在配置文件中,指定enableAdditionalLog参数和logName参数,以启用补充日志功能。
    数据同步:如果您使用Flink CDC读取Oracle备库中的数据,那么您需要注意数据同步的效率和准确性。同时,您还需要注意数据的安全性和可靠性,以保证数据的正确性和可靠性。
    需要注意的是,如果您使用Flink CDC读取Oracle备库中的数据,那么您需要注意数据源连接、补充日志和数据同步等问题。同时,您还需要注意数据的处理效率和准确性。同时,您还需要注意数据的安全性和可靠性,以保证数据的正确性和可靠性。

    2023-08-14 13:29:39
    赞同 展开评论 打赏
  • Flink CDC 目前不支持直接连接到 Oracle 数据库的备库进行实时同步。Flink CDC 的 PostgreSQL CDC Connector 支持通过连接到 PostgreSQL 的备库来实现实时同步,但对于 Oracle 数据库,目前没有类似的备库实时同步机制。

    如果您在直接连接到 Oracle 主库时遇到了性能问题,可能是因为 Flink CDC 在处理大量数据变更时对主库造成了额外的负载。这可能导致主库的资源消耗过高,甚至打爆主库的连接数限制。

    为了解决这个问题,您可以考虑以下几种方案:

    1. 调整 Flink CDC 的并行度:通过降低 Flink CDC 的任务并行度,减少对主库的负载。您可以尝试减少任务的并行度设置,以减少与主库的连接数和数据读取量。
      image.png

    2. 增加主库的资源:如果可能的话,可以考虑增加主库的硬件资源(例如 CPU、内存)或优化数据库配置,以提高其处理能力和吞吐量。

    3. 使用 Oracle 官方的数据复制工具:如果您需要在备库上进行实时同步,可以考虑使用 Oracle 官方提供的数据复制工具,例如 Oracle GoldenGate 或 Oracle Data Guard。这些工具专门设计用于实时同步和备份数据库,并具有较低的对主库的负载。
      3617928196075d79660df225d98e5a3e_c69b618554b14c698fb2382271a515c9.png

    2023-08-14 11:48:28
    赞同 展开评论 打赏
滑动查看更多

大数据领域前沿技术分享与交流,这里不止有技术干货、学习心得、企业实践、社区活动,还有未来。

相关电子书

更多
PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践 立即下载
PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移 立即下载
Oracle云上最佳实践 立即下载

相关镜像