cdc 如何在 代码里面 组临时表了?

cdc 如何在 代码里面 组临时表了?

展开
收起
wenti 2023-01-08 20:02:43 186 分享 版权
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,看一下这个思路:

    如果(未更改的)数据量不大,您可以在APP_ID上将STG_APPLICATION和STG_APPLICATION_STATUS的完整快照连接在一起,直到它们按列类似于维度记录,并将它们存储在一个单独的表中,并使用其CDC散列作为前一天的使用。然后,您在此级别获取增量,并将(完整的)更改的记录作为更新发送到维度。

    如果每日更新中的记录量使得连接整个表变得不切实际,那么您可以像现在一样使用增量和完整的外连接。然后查找此APP_ID的当前维度记录,并填写增量记录中的所有空字段。然后,完成的记录将作为维度的更新发送。这种解决方案需要较少的存储,但似乎更脆弱,特别是如果一天内可能有多个更改。如果有许多更改,性能也可能会受到影响。对于数百万条记录中的一小部分更改,它应该更有效。

    2023-01-14 15:02:10
    赞同 展开评论

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

收录在圈子:
实时计算 Flink 版(Alibaba Cloud Realtime Compute for Apache Flink,Powered by Ververica)是阿里云基于 Apache Flink 构建的企业级、高性能实时大数据处理系统,由 Apache Flink 创始团队官方出品,拥有全球统一商业化品牌,完全兼容开源 Flink API,提供丰富的企业级增值功能。
还有其他疑问?
咨询AI助理