开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

离线同步mysql生产数据, 举例:数据过滤updated_at =当天 小时任务15点 开

离线同步mysql生产数据, 举例:数据过滤updated_at =当天 小时任务15点 开始到结束时间是15:01-15:11 其实同步过来的数据updated_at= 15:01-15:11期间的数据是漏掉一部分的 这是为什么

展开
收起
游客3oewgrzrf6o5c 2022-08-11 18:01:07 372 0
1 条回答
写回答
取消 提交回答
  • mysql reader是根据配置的column where等信息 拼接成sql 下发到reader执行 可以原句在mysql执行一下 读出来的数据是否符合预期 ;另外看下detail log里有没有打印脏数据 (此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-11 18:07:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像