开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks使用数据集成同步mongodb时报错 怎么解决?

DataWorks使用数据集成同步mongodb时报错 怎么解决?2818d22d8296d7f7f36ba497f0e683a8.png

展开
收起
真的很搞笑 2024-05-16 14:30:35 22 0
1 条回答
写回答
取消 提交回答
  • use SplitVector to splitCollection, dockCount: 904117, avgObjSize: 595, chunkDockCount: 452058maxChunkSize: 1026
    我理解 每个块上限 1026M,按现在的切分 每个chunk要包含452068个文档 平均每个文档595字节 超过了上限

    尝试配置一下splitFactor 默认1 可以增加试试https://help.aliyun.com/zh/dataworks/user-guide/mongodb-data-source?spm=a2c4g.11186623.0.i1#task-2310398
    转脚本 增加splitFactor参数,和column参数同级 ,此回答整理自钉群“DataWorks0群已满,新群请看群公告”

    2024-05-16 15:09:49
    赞同 2 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    集成智能接入网关APP:优化企业级移动办公网络 立即下载
    《DataWorks 数据集成实时同步》 立即下载
    云效助力企业集成安全到DevOps中 立即下载