DataWorks给的12个并行度 但是 同步时是分成了16个任务 所以 集成资源使用是100%

DataWorks给的12个并行度 但是 同步时是分成了16个任务 所以 集成资源使用是100%

但是为啥给的12个并行度 集成却分成16个 ,需要你们开发确认下?
image.png

展开
收起
真的很搞笑 2024-08-12 23:56:24 66 分享 版权
1 条回答
写回答
取消 提交回答
  • 这里应该有两个问题

    1. 资源组100%,实际并发数是12:应该是当时跑的任务把CPU打满了,导致机器会处于挂起状态,资源使用率就会变为100%
    2. 实际并发数12 开启了分布式,切分分片数task16:一般开启分布式情况下 task数 = 并发数*5 + 1 (这里为16 可能是drds比较特殊 所以确认一下是否是3张分表),如果资源组机器为<2台 建议关闭分布式 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
    2024-08-13 18:13:58
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理