开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

离线同步mysql生产数据, 举例:数据过滤updated_at =当天 小时任务15点 开

离线同步mysql生产数据, 举例:数据过滤updated_at =当天 小时任务15点 开始到结束时间是15:01-15:11 其实同步过来的数据updated_at= 15:01-15:11期间的数据是漏掉一部分的 这是为什么

展开
收起
游客3oewgrzrf6o5c 2022-08-11 18:01:07 394 0
1 条回答
写回答
取消 提交回答
  • mysql reader是根据配置的column where等信息 拼接成sql 下发到reader执行 可以原句在mysql执行一下 读出来的数据是否符合预期 ;另外看下detail log里有没有打印脏数据 (此答案整理自DataWorks交流群(答疑@机器人))

    2022-08-11 18:07:21
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
One Box: 解读事务与分析一体化数据库 HybridDB for MySQL 立即下载
One Box:解读事务与分析一体化数据库HybridDB for MySQL 立即下载
如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进 立即下载

相关镜像