开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

请问一下,Hologres分区表,是否支持使用Flink SaaS CDC模式直接消费分区表父表吗?

请问一下,Hologres分区表,是否支持使用Flink SaaS CDC模式直接消费分区表父表吗?

展开
收起
哒哒哒哒哒~ 2023-03-07 12:55:06 388 0
2 条回答
写回答
取消 提交回答
  • 不支持,技术上是可以做 但性能会非常差 消费Binlog原理和消费kafka差不多 如果消费父表Binlog 相当于同时要轮训几百个kafka topic 而大部分topic会是浪费的 这也是为什么当前没有支持这个场景。

    2023-03-09 09:16:09
    赞同 展开评论 打赏
  • 随心分享,欢迎友善交流讨论:)

    Hologres是一个兼容PostgreSQL的云上数据仓库,支持分布式SQL查询和高性能数据导入,同时支持分区表的创建和查询。

    在Hologres中创建的分区表,实际上是由多个子表组成的逻辑表,每个子表对应一个分区。因此,如果您要使用Flink SaaS CDC模式直接消费分区表父表,您需要确保Flink能够正确地处理分区表的分区信息,并将数据分发到正确的子表中。

    目前,阿里云MaxCompute支持将分区表作为源表使用Flink SaaS CDC模式进行数据消费。在Flink中,可以使用maxcompute-cdc-connector来读取MaxCompute表,并将其作为流式数据源进行处理。但是,Hologres的分区表目前还不支持直接使用Flink SaaS CDC模式进行数据消费。

    如果您需要在Hologres中使用Flink SaaS CDC模式进行数据消费,可以考虑使用以下方案之一:

    1、将分区表转换为非分区表,以便直接使用Flink SaaS CDC模式进行消费。

    2、将分区表拆分为多个非分区表,并使用Flink SaaS CDC模式对这些表进行消费。

    3、使用其他数据同步工具,如阿里云DataX或MaxCompute的Tunnel SDK,将Hologres中的数据复制到MaxCompute中,并使用Flink SaaS CDC模式对MaxCompute表进行消费。

    需要注意的是,不同方案的可行性和适用性取决于具体的业务场景和数据结构,因此您需要仔细评估不同方案的优缺点,并选择最适合您的方案。

    2023-03-07 13:12:37
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

热门讨论

热门文章

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载