开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中oceanbase离线同步,每日增量的过滤规则应该怎么写, 同样的语句在ob中?

DataWorks中oceanbase离线同步,每日增量的过滤规则应该怎么写, 同样的语句在ob中执行没问题,发布到线上并没有生效?image.png

展开
收起
真的很搞笑 2023-08-07 20:34:59 37 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    对于DataWorks中OceanBase离线同步的每日增量过滤,建议的写法为:

    对要同步的主表设置更新时间字段,命名为updated_at。

    每次同步任务执行时,获取上次同步完成的时间点last_sync_time。可以使用参数或变量存储。

    构造WHERE条件针对updated_at字段,只同步更新时间晚于last_sync_time 的数据:

    sql
    Copy
    where updated_at > '{{last_sync_time}}'
    同步结束后,更新last_sync_time为本次同步的结束时间。

    2023-08-09 17:37:21
    赞同 展开评论 打赏
  • bizdate的调度参数 在右侧调度配置中定义了么,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 21:46:14
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    AnalyticDB+DataWorks企业数仓构建方案 立即下载
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    自研金融数据库OceanBase的创新之路 立即下载

    相关实验场景

    更多