在DataWorks中设置MongoDB离线增量同步的时间,可以参考以下步骤:
场景:配置增量数据离线同步任务https://help.aliyun.com/zh/dataworks/user-guide/configure-a-batch-synchronization-node-to-synchronize-only-incremental-data?spm=a2c4g.11186623.0.i8
离线同步任务支持您通过配置类似数据过滤的功能来决定同步全量数据还是增量数据,配置过滤条件时,将只同步满足过滤条件的数据。同时,过滤条件可以结合调度参数使用,实现过滤条件随任务调度时间的动态变化,进而实现增量数据的同步。为您介绍如何配置增量数据同步任务。
配置增量数据同步时:
时间类型增量字段同步:可以通过调度参数来实现时间类型数据的动态替换,调度参数将在任务调度时自动根据业务时间替换为具体的值。关于调度参数的使用,详情请参见:调度参数支持的格式。
非时间类型增量字段同步:可以通过赋值节点将字段处理为目标数据类型后,再传入数据集成进行数据同步。关于赋值节点的使用详情请参见:赋值节点。
可以看下文档中的案例 https://help.aliyun.com/zh/dataworks/user-guide/mongodb-data-source,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在 DataWorks 中,可以通过以下步骤设置 MongoDB 离线增量同步的时间:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。