DataWorks实时单表同步,我这边现在的资源是4c8g,这是怎么算的?

"实时单表同步,我这边现在的资源是4c8g,这个任务我配置的是1个线程。现在有两个问题
1:这边只配置了这一个实时同步任务,并且只同步了一个表。这个资源使用率一直显示31.25%,关于这个数据我根据给出的计算规则没有算出来(1/8=12.5%),这是怎么算的?
2:这个使用率一直显示31.25%,即使是在4个小时没有数据写入的情况,使用率也没有变为0,这是为什么?"

展开
收起
真的很搞笑 2023-10-29 17:30:04 122 分享 版权
3 条回答
写回答
取消 提交回答
  • 问题1:
    关于资源使用率的计算,你可能误解了。这个31.25%并不是指你的任务正在使用的CPU或内存资源,而是指你的任务占用了多少比例的资源池。也就是说,如果你的集群有8个核心,那么这个任务就占用了1个核心,也就是1/8=12.5%的资源。但是这个资源并不是一直在使用,而是在任务运行的时候才会使用。所以,即使你的任务已经运行了一段时间,但是如果它现在没有运行,那么它的资源使用率仍然是12.5%。

    关于第二个问题,即使在没有数据写入的情况下,你的任务仍然会定期进行检查,以确保数据的一致性。这就是为什么即使在没有数据写入的情况下,你的任务的资源使用率也不会变为0的原因。

    问题2:
    如果你的数据源在特定的时间段内没有数据写入,那么可能是因为在这段时间内,数据源没有产生新的数据。

    2023-10-30 15:36:29
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    问题一:
    资源使用率指的是使用的CPU核心数占总CPU核心数的比例。在这个例子中,配置的是一个线程,意味着您只占用了四分之一的CPU核心,所以资源使用率为1/8 = 12.5%。
    问题二:
    由于任务还在运行,所以即使在4小时没有数据写入,使用率也不会变回0。请等待一段时间,当任务结束时资源使用率就会回到0。另外,请检查您的DataWorks设置,看看是否存在其他同步任务在执行。
    关于jobid的问题,如果任务在22点到23点之间没有数据写入,请检查是否出现了网络或数据源的问题,同时检查日志来获取更详细的错误信息。

    2023-10-30 14:48:07
    赞同 展开评论
  • "这个es的字段映射问题,第一个是符合预期的 实时任务配置一个库里多张表应该也是占用这么多资源 [2-5]库就建议8c16g了
    第二个问题可以发一下 实时日志里的 region和jobid 信息 以及截图看下读出写入数据量大表;再确认一下 源端这段时间内是否有更新数据
    ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”"

    2023-10-29 22:09:36
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理