开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks关于资源使用率的问题为什么显示已使用31.25%?

"DataWorks第一个问题:关于资源使用率的问题,我这边计算的是1/8=12.5%,但是为什么显示已使用31.25%
第二个问题:jobid 4693,""region"":""cn-hangzhou""
22号数据源22点到23点都,没有数据写入?"

展开
收起
真的很搞笑 2023-11-10 16:16:20 65 0
7 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    针对这两个问题,我可以做出如下解释:

    1. DataWorks资源使用率是指该时间段内任务的执行次数占总任务数的比例。例如,如果有8个任务,只执行了1次,那么资源使用率为1/8=0.125,即12.5%。但是,实际资源使用率可能会受到许多因素的影响,包括CPU负载、内存利用率等因素,所以最终可能会高于12.5%。
    2. 关于第二个问题,建议您排查4693号任务的Log,以确认是否有数据源写入的问题。首先,检查DataWorks中job的日志,并查看与该任务相关的log信息,看是否有错误或异常提示。其次,检查相关的DataWorks配置,如是否已开启了Auto-Scaling,是否有一些节点设置为只执行一次等情况。最后,如果无法定位问题,请联系阿里云官方客服或技术支持进行诊断。
    2023-11-11 13:38:10
    赞同 展开评论 打赏
  • 对于第一个问题,资源使用率的计算方式可能会因为不同的服务或者产品而有所不同。在这种情况下,我建议你直接联系DataWorks的技术支持,他们应该能够提供更准确的解释。

    对于第二个问题,可能是由于某些原因导致Job在指定的时间段内没有正常运行。这可能是因为网络问题、系统故障或者其他一些不可预见的因素。

    2023-11-11 09:20:33
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    因为DataWorks的计算方式与你所计算的不同。在DataWorks中,资源使用率是指已经使用的资源数量与总资源数量的比例。如果一个任务分配了8个资源,而实际上只使用了2个资源,那么资源使用率就是2/8=25%。因此,如果显示已使用31.25%,可能是因为DataWorks将某些其他资源(例如内存或存储)也算作资源,或者它使用的计算方法与你所使用的不同。

    1. 关于jobid 4693的问题, region为"cn-hangzhou",且在22号数据源在22点到23点之间没有数据写入,可能是因为在这个时间段内,数据源没有产生数据,或者数据处理任务出现了故障或错误,导致没有数据写入。
    2023-11-11 07:51:37
    赞同 展开评论 打赏
  • 第一个问题:关于资源使用率的问题,显示已使用31.25%的原因可能是DataWorks计算资源使用率的方式与您计算的方式不同。DataWorks可能考虑了其他因素,如系统保留的资源、并发任务等,导致实际使用率高于您的计算结果。

    第二个问题:关于jobid 4693在"cn-hangzhou"区域没有数据写入的情况,可能有以下几个原因:

    1. 数据源配置问题:请检查数据源的配置是否正确,包括数据库连接信息、表名、字段名等。

    2. 数据同步任务设置问题:请检查数据同步任务的设置,如同步频率、同步时间范围等,确保任务在指定的时间段内运行。

    3. 网络问题:请检查网络连接是否正常,如果网络不稳定,可能导致数据同步失败。

    4. 权限问题:请检查当前用户是否具有访问数据源和执行数据同步任务的权限。

    建议您根据以上原因进行排查,找到问题所在并进行修复。

    2023-11-11 08:13:03
    赞同 展开评论 打赏
  • 关于 DataWorks 资源使用率的问题,我们首先需要确定计算的是哪个资源的使用率。一般来说,DataWorks 的资源使用率主要包括 CPU 使用率、内存使用率、磁盘使用率等等。所以请您提供更详细的信息,包括具体的计算方式、参考的时间段等等。
    对于 jobid 4693 这个问题,我们需要查看相关的 job 日志来确认具体情况。一般来说,如果 job 没有执行成功的话,会在日志中给出错误信息;如果 job 执行成功的话,可以从输出结果中查看是否有预期的数据生成。

    2023-11-10 22:00:47
    赞同 展开评论 打赏
  • 对于第一个问题,资源使用率的计算方式可能有所不同,建议您查看 DataWorks 的官方文档,以了解正确的计算方式。对于第二个问题,您要检查 jobid 4693 的执行情况,以及数据源的读取和写入情况,以确定问题所在。

    2023-11-10 17:09:13
    赞同 展开评论 打赏
  • "1)一台4c8g最多配置3个实时任务 我预估最少运行是2-3并发
    2)这段时间数据量变化曲线确实比较平稳 ,确认一下这段时间源端是否有数据变更或输入 如果确认有 再到目标端查一下实际是否有写入image.png
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”"

    2023-11-10 16:30:18
    赞同 展开评论 打赏
滑动查看更多

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多