开发者社区> 问答> 正文

DataWorks数据集成mongodb同步少数据

已解决

DataWorks数据集成mongodb同步少数据

展开
收起
提个问题 2024-06-03 12:05:25 14 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    mongodb同步读取的数据和同步数据不一致。
    场景一:查询有问题

    用户的数据库是2022但是配里配的是2020那个库。
    场景二: mongdb同步odps ,mongodb设置主键,但是odps没有主键的概念,在odps出现主键重复,是因为源端做了update操作,操作是先delete然后在insert所以导致的主键重复。
    场景三: 题描述:源表230多万的数据,但是到结果表只有2,000,039个数据, 相差 2345184-2,000,039 = 345,145 条数据。


    解释说明:日志中并没有存在脏数据。

    解决方案:将数据同步并发设置为1,数据量符合预期。


    2024-06-03 12:05:26
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关镜像