开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC监听了多张表,监听的表数据经过处理要对应输出到另外的一数据库对应的表,有好方法吗?

Flink CDC监听了多张表,监听的表数据经过处理要对应输出到另外的一数据库对应的表,用JDBC这种Sink是一个表对应一个Sink,如果监听表有很多,Sink太多了对下游数据库压力太大,有其他好方法吗?

展开
收起
真的很搞笑 2023-11-07 19:53:34 135 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在使用 Flink CDC 听多张表的情况下,确实可能产生大量的 Sink,给下游数据库带来压力。可以考虑以下方法来减轻这种压力:

    1. 分表:将原始表拆分为多个子表,并为每个子表分配一个 Sink,可以减小每张表的压力。
    2. 节点分流:在多个节点上部署多个 Sink,以分散压力。
    3. 使用 Kafka 或其他中间件:将 Flink CDC 输出的数据流发送到 Kafka 或其他中间件,然后再从 Kafka 等中间件读取数据并导入到下游数据库。
    2023-11-11 14:44:43
    赞同 展开评论 打赏
  • sink没复用一个链接确实大,最好找个整库同步的,如果你用jdbc sink,可以在invoke里面判断数据的表,动态插入到目标表,整库同步更好点,看看dinky,可以中间加一层kafka 处理完以后再整合一个sink入库,数据同步的ods层一般是不做任何改变的,改变坏处大于好处,Ods作为原始数据,操作性才能拉满,此回答整理自钉群“Flink CDC 社区”

    2023-11-08 07:42:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载