开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问 flink 能流式读取iceberg upsert primary key 表吗?

请问 flink 能流式读取iceberg upsert primary key 表吗?

展开
收起
cuicuicuic 2024-01-17 12:20:19 30 0
2 条回答
写回答
取消 提交回答
  • 不可以,iceberg社区这方面很久没动作了。 有需要考虑下paimon吧 ,此回答整理自钉群“【③群】Apache Flink China社区”

    2024-01-17 13:33:21
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink 目前不支持直接流式读取 Iceberg Upsert Primary Key 表。Iceberg Upsert Primary Key 是一种用于支持更新和删除操作的表格式,它需要对数据进行额外的处理才能实现这些操作。

    如果你需要在 Flink 中流式读取 Iceberg Upsert Primary Key 表,你可以考虑以下两种方法:

    1. 使用 Flink 的 CDC(Change Data Capture)功能:Flink CDC 可以捕获数据库中的变更事件,并将其转换为流式数据。你可以使用 Flink CDC 来捕获 Iceberg Upsert Primary Key 表中的变更事件,并将其转换为流式数据进行处理。

    2. 将 Iceberg Upsert Primary Key 表转换为其他支持流式读取的表格式:你可以将 Iceberg Upsert Primary Key 表导出为其他支持流式读取的表格式,例如 Parquet、Avro 或 JSON。然后,你可以使用 Flink 的流式读取功能来读取导出后的表。

    2024-01-17 13:04:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载