开发者社区 问答 正文

对于无法产生CDC数据的旧系统或上游数据由其他业务方提供的系统,我们如何生成增量数据并实时写入Ice

对于无法产生CDC数据的旧系统或上游数据由其他业务方提供的系统,我们如何生成增量数据并实时写入Iceberg v2表?

展开
收起
不吃核桃 2024-08-19 14:45:24 65 分享 版权
1 条回答
写回答
取消 提交回答
  • 对于无法产生CDC数据的旧系统或上游数据由其他业务方提供的系统,我们采用了Spark Merge Into作业定时调度来产生增量的数据,并实时写入到Iceberg v2表中。通过Merge Into产生的数据延迟大概是5~8分钟,全链路的延迟基本可以控制在10分钟之内。
    image.png

    2024-08-19 20:08:46
    赞同 2 展开评论
问答分类:
ice
问答地址: