AI 助理
备案控制台
开发者社区 问答 正文

DataWorks读Mongo分片集群有重复数据

已解决

DataWorks读Mongo分片集群有重复数据

展开
收起
提个问题 2024-06-08 19:08:01 77 分享 版权

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 社区答人
    开发者社区问答官方账号
    官方回答
    采纳回答
    【问题描述】dataworks 读Mongo分片集群有重复数据 
    【解释说明】配置的mongb 是单分片的实例id，mongo升级成分片集群后 ，一份数据会在多个分片上都有，这是分片集群特性 
    【建议】需要把并发设置成1后重跑下。
    2024-06-08 19:08:02
    赞同 2 展开评论
问答分类：
DataWorks 大数据开发治理平台 DataWorks
问答标签：
大数据开发治理平台 DataWorks数据 大数据开发治理平台 DataWorks集群 大数据开发治理平台 DataWorks mongo数据 大数据开发治理平台 DataWorks mongo 大数据开发治理平台 DataWorks重复数据
问答地址：
开发者社区 > 大数据 > 问答
相关问答
dataworks 任务 数据量和集群任务量没有明显变化， 希望能了解为什么会突然降低 ？
78
0
0
DataWorks独享集群资源组的配置，有推荐的文档嘛？
98
1
0
DataWorks美国硅谷地域的集群是几点生成第二天实例的？
112
1
0
dataworks-数据开发 报 集群处于安全模式状态，所有加载作业都被拒绝这个是什么原因呢？
98
0
0
DataWorks需要将mongo的数据拉入到mc中, mongo存的是文档, 能否将mongo数据
80
1
0
dataworks从mongo抽取到odps 只能通过写datax的原生json抽取吗？
102
1
0
DataWorks集群id，是通过接口【ListClusters】获取吗，好像还没开通 ？
63
1
0
Dataworks on EMR服务中 ，EMR集群的日常管理和维护工作主要由阿里云负责吗？
73
0
0
DataWorks提交任务到 emr 集群跑的时候，在哪里可以设置内存资源？
178
13
0
DataWorks用户名这里集群后面指定吗？
40
1
0