开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks数据集成mongodb报错:

已解决

DataWorks数据集成mongodb报错: 2022-08-01 14:26:58.912 [429845918-1-5-reader] ERROR MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit

展开
收起
阿里云服务支持 2022-12-09 15:24:02 471 0
1 条回答
写回答
取消 提交回答
  • 推荐回答
    官方回答
    1. 按现在这个报错operation exceeded time limit,建议用户将cursorTimeoutInMs调大到3600000。

    2. 目前这个任务已经跑了20亿数据了,用户应该是10亿多数据,可以再确认下数据量多少。

    3. batchSize可先保持1000不动,如果调整完cursorTimeoutInMs不报错,可再尝试调大batchSize。

    2022-12-09 15:29:19
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载