Flink CDC你们分区表是怎么处理的?

Flink CDC你们分区表是怎么处理的?pg 分区表,我看到监控表变化了,过来的是表名称是分区表名称

展开
收起
真的很搞笑 2023-08-28 15:16:30 165 分享 版权
1 条回答
写回答
取消 提交回答
  • Flink CDC 支持分区表的读取,但不支持分区表的写入。

    当读取分区表时,Flink CDC 会将所有分区的变化都读取到 Kafka,然后使用 Kafka 内部的分区机制来处理分区表。

    当写入分区表时,Flink CDC 无法保证数据会写入到正确的分区中。因此,如果需要将数据写入到分区表中,建议使用 Flink SQL 或 Flink Table API。

    Flink CDC 不支持分区表的写入,是因为这是一个非常复杂的问题。Flink CDC 需要知道所有分区的分区键,才能正确地将数据写入到正确的分区中。但是,如果分区键是动态生成的,那么 Flink CDC 就无法知道所有分区的分区键。

    因此,Flink CDC 不支持分区表的写入。如果需要将数据写入到分区表中,建议使用 Flink SQL 或 Flink Table API。

    2023-09-20 11:28:57
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

还有其他疑问?
咨询AI助理