开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

cdc 如何在 代码里面 组临时表了?

cdc 如何在 代码里面 组临时表了?

展开
收起
wenti 2023-01-08 20:02:43 172 0
1 条回答
写回答
取消 提交回答
  • 十分耕耘,一定会有一分收获!

    楼主你好,看一下这个思路:

    如果(未更改的)数据量不大,您可以在APP_ID上将STG_APPLICATION和STG_APPLICATION_STATUS的完整快照连接在一起,直到它们按列类似于维度记录,并将它们存储在一个单独的表中,并使用其CDC散列作为前一天的使用。然后,您在此级别获取增量,并将(完整的)更改的记录作为更新发送到维度。

    如果每日更新中的记录量使得连接整个表变得不切实际,那么您可以像现在一样使用增量和完整的外连接。然后查找此APP_ID的当前维度记录,并填写增量记录中的所有空字段。然后,完成的记录将作为维度的更新发送。这种解决方案需要较少的存储,但似乎更脆弱,特别是如果一天内可能有多个更改。如果有许多更改,性能也可能会受到影响。对于数百万条记录中的一小部分更改,它应该更有效。

    2023-01-14 15:02:10
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载