开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks那资源使用率是怎么计算的?

问题1:DataWorks那资源使用率是怎么计算的,能不能确认一下,22点-23点数据源是没有数据写入的?image.png
问题2:1)哪怕我设置线程数是1,他实际也是2.5个线程吗
2)这段时间没有数据写入,那字段时间的资源使用率为什么不是0呢,那有没有最大的数量,比如4c8g,最大并发数能不能达到8?

展开
收起
真的很搞笑 2023-10-29 17:31:08 48 0
2 条回答
写回答
取消 提交回答
  • 在DataWorks中,资源使用率主要是指在指定时间段内所选调度资源组的使用情况,即运行在该资源组上的实例所占用的资源的百分比。这个使用率与各时间点运行在该资源组上的实例数量的变化趋势有关。当资源组使用率超过80%时,建议对资源组进行扩容,以免因资源不足而影响任务的正常执行。

    至于您提到的线程数问题,DataWorks的线程数设置与实际并发线程数并不完全一对一。即使您将线程数设置为1,实际运行时可能会有更多的并发线程,具体数量可能因任务类型、数据量等因素而异。

    关于晚上22点到23点没有数据写入但资源使用率不为0的问题,这可能与系统进程和Agent进程在后台运行有关,它们会占用一部分内存。这部分内存不能用于提供槽位资源,因此在高并发情况下可能导致某些作业OOM(内存溢出)。此外,资源使用率并不是一个固定的数字,它会受到多种因素的影响,包括正在运行的任务数量、任务类型等。

    2023-10-30 15:36:30
    赞同 展开评论 打赏
  • 回答1:1)每个数据源类型都不太一样 mysql应该是2.5并发左右
    2)源端没有数据写入 数据同步量没有变化就是符合预期的
    回答2:是的 约2.5并发 这个是最少的数量
    实时任务是常驻任务 一直会占用资源,最大是配置到资源组可用的上限 但是不建议配置过大 一般增加并发是为了增加使用内存 加一个并发会多256M内存,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-29 22:27:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多