datawork中mongo增量同步怎么做?

datawork中mongo增量同步怎么做?

展开
收起
爱喝咖啡嘿 2022-12-11 17:13:40 279 分享 版权
1 条回答
写回答
取消 提交回答
    1. mongo reader增量同步: 实时场景:增量的标志是mongodb里的一个字段为createtime,每次导入的数据范围是业务时间00:00到业务时间23:59
      • {createtime :{$gte:ISODate("unknownT00:00:00.000+0800"),$lte:ISODate("unknownT23:59:59.999+0800")}} 注意:
      • 1.不支持时间戳
      • 2.query 可结合调度参数同步使用
      • 3.详情请参见MongoDB查询语法。——此答案整理自钉群“DataWorks交流群(答疑@机器人)”
    2022-12-12 12:33:11
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理