开发者社区> 问答> 正文

DataWorks数据集成mongodb报operation exceeded time limit

已解决

DataWorks数据集成mongodb报operation exceeded time limit

展开
收起
提个问题! 2024-06-15 14:12:02 12 0
1 条回答
写回答
取消 提交回答
  • 开发者社区问答官方账号
    官方回答
    采纳回答
    问题描述:2022-08-01 14:26:58.912 [429845918-1-5-reader] ERROR MongoDBReader$Task - operation exceeded time limitcom.mongodb.MongoExecutionTimeoutException: operation exceeded time limit


    解决方法:
    1. 按现在这个报错operation exceeded time limit,建议用户将cursorTimeoutInMs调大到3600000。
    2. 目前这个任务已经跑了20亿数据了,用户应该是10亿多数据,可以再确认下数据量多少。
    3. batchSize可先保持1000不动,如果调整完cursorTimeoutInMs不报错,可再尝试调大batchSize。
    2024-06-15 14:12:03
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载