开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink 流式增量读取iceberg upsert 表 ,iceberg支持吗?

flink 流式增量读取iceberg upsert 表 ,iceberg支持吗?

展开
收起
三分钟热度的鱼 2023-10-10 15:05:42 146 0
5 条回答
写回答
取消 提交回答
  • Flink TidbCDC使用了Tidb作为数据源,Flink TidbCDC读取Tidb中的数据并将其转换为Flink可以处理的数据格式。Flink TidbCDC的任务是实时处理Tidb中的数据,因此需要消耗较大的内存资源,包括堆内存和JVM Metaspace。JVM Metaspace主要用于存储JVM运行时的数据

    2023-10-13 17:10:02
    赞同 展开评论 打赏
  • 是的,Iceberg支持Flink流式增量读取。Iceberg是一个支持增量读取的分布式数据湖存储系统,它可以支持实时流式数据读取和写入,同时提供ACID事务支持。您可以使用Flink的流式SQL API来读取Iceberg表,并将数据写入其他系统,例如Hive或Kafka。同时,Iceberg也支持UPSERT操作,可以将新的数据插入到表中,同时更新现有数据。

    2023-10-13 16:05:06
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,Flink流式增量读取Iceberg upsert表是完全支持的。在Flink中,您可以使用INSERT INTO语句来将流式数据插入到Iceberg表中,从而实现流式增量读取。在INSERT INTO语句中,您可以使用upsert关键字来指定插入数据的模式。如果插入的数据的模式与表中的模式不匹配,那么Flink将使用upsert操作来更新表中的数据。

    2023-10-10 17:04:02
    赞同 展开评论 打赏
  • iceberg 暂时不支持吧。此回答整理自钉群“【②群】Apache Flink China社区”

    2023-10-10 16:04:53
    赞同 展开评论 打赏
  • 是的,Flink支持ICEBERG表的UPSERT操作。当您使用Flink将数据写入ICEBERG表时,如果主键已经存在,则UPSERT操作将更新该行的值。如果主键不存在,则UPSERT操作将插入新行。

    2023-10-10 15:54:53
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载