一、场景
当上游OA系统的MySQL数据库中某条审批数据的审批状态发生变化时,我们如何将这些变动的数据增量地追加到MaxCompute(或hive)的新分区中,后续查询中又如何查到该审批流的状态流转详情?
二、解决方案及功能
①首先我们需要捕获到变更的数据,目前Dataphin支持在【输入配置】时通过【输入过滤】来获取到最近变更的数据,如下设置【gmt_modified=${bizdate}】,就可以获取到修改时间=业务日期(自然日期的前一天)的数据,同时搭配日调度,就可以每天获取有变更的数据
②MaxCompute输出配置时,加载策略选择【追加数据】,并且指定一个分区,此时变更的数据就会追加到MaxCompute表的最新分区内
③需要查询该条OA审批数据所有的状态流转详情时,在where条件中限定ds≤${bizdate}即可