开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

这里面是Flink CDC 这个是和oracle的活跃线程数有关系嘛?

这里面是Flink CDC sql 源端oracle cdc sink端是clickhouse端 这个是和oracle的活跃线程数有关系嘛?

展开
收起
真的很搞笑 2023-10-22 22:37:49 45 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在Flink CDC中,如果你的源端是Oracle,而你的sink端是ClickHouse,那么你可能会遇到一些问题。这些问题可能与你的Oracle的活跃线程数有关,但也可能与其他因素有关。
    在Flink CDC中,如果你的源端是Oracle,而你的sink端是ClickHouse,那么你可能会遇到以下问题:

    1. 数据同步延迟:如果你的Oracle的活跃线程数不足,那么Flink CDC可能无法及时获取到Oracle的数据变更,从而导致数据同步延迟。你可以通过增加Oracle的活跃线程数,来改善数据同步的延迟。
    2. 数据丢失:如果你的Oracle的活跃线程数不足,那么Flink CDC可能无法及时获取到Oracle的数据变更,从而导致数据丢失。你可以通过增加Oracle的活跃线程数,来改善数据丢失的问题。
    3. 数据不一致:如果你的Oracle的活跃线程数不足,那么Flink CDC可能无法及时获取到Oracle的数据变更,从而导致数据不一致。你可以通过增加Oracle的活跃线程数,来改善数据不一致的问题。

    在Flink CDC中,如果你的源端是Oracle,而你的sink端是ClickHouse,那么你可能会遇到上述问题。

    2023-10-23 14:28:58
    赞同 展开评论 打赏
  • Flink CDC的工作原理是通过监听数据库的日志事件(如Oracle的Redo Log或者Undo Log)来获取数据的变更信息,然后生成对应的DataStream。这个过程与数据库的活跃线程数没有直接关系。

    但是,如果数据库的活跃线程数过多,可能会导致数据库性能下降,从而间接影响Flink CDC的性能。因为Flink CDC的性能很大程度上依赖于数据库的日志生成速度。

    另外,如果你的Oracle数据库和ClickHouse数据库之间的网络传输效率低下,也可能会影响Flink CDC的性能。因此,你需要确保这两个数据库之间的网络连接稳定且高效。

    2023-10-23 10:36:02
    赞同 展开评论 打赏
  • 需要具体排查看,可能oracle的问题,也可能不是,也可能clickhouse写不进去等,此回答整理自钉群“Flink CDC 社区”

    2023-10-23 08:09:00
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像