问题1:DataWorks那资源使用率是怎么计算的,能不能确认一下,22点-23点数据源是没有数据写入的?
问题2:1)哪怕我设置线程数是1,他实际也是2.5个线程吗
2)这段时间没有数据写入,那字段时间的资源使用率为什么不是0呢,那有没有最大的数量,比如4c8g,最大并发数能不能达到8?
在DataWorks中,资源使用率主要是指在指定时间段内所选调度资源组的使用情况,即运行在该资源组上的实例所占用的资源的百分比。这个使用率与各时间点运行在该资源组上的实例数量的变化趋势有关。当资源组使用率超过80%时,建议对资源组进行扩容,以免因资源不足而影响任务的正常执行。
至于您提到的线程数问题,DataWorks的线程数设置与实际并发线程数并不完全一对一。即使您将线程数设置为1,实际运行时可能会有更多的并发线程,具体数量可能因任务类型、数据量等因素而异。
关于晚上22点到23点没有数据写入但资源使用率不为0的问题,这可能与系统进程和Agent进程在后台运行有关,它们会占用一部分内存。这部分内存不能用于提供槽位资源,因此在高并发情况下可能导致某些作业OOM(内存溢出)。此外,资源使用率并不是一个固定的数字,它会受到多种因素的影响,包括正在运行的任务数量、任务类型等。
回答1:1)每个数据源类型都不太一样 mysql应该是2.5并发左右
2)源端没有数据写入 数据同步量没有变化就是符合预期的
回答2:是的 约2.5并发 这个是最少的数量
实时任务是常驻任务 一直会占用资源,最大是配置到资源组可用的上限 但是不建议配置过大 一般增加并发是为了增加使用内存 加一个并发会多256M内存,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。