"实时单表同步,我这边现在的资源是4c8g,这个任务我配置的是1个线程。现在有两个问题
1:这边只配置了这一个实时同步任务,并且只同步了一个表。这个资源使用率一直显示31.25%,关于这个数据我根据给出的计算规则没有算出来(1/8=12.5%),这是怎么算的?
2:这个使用率一直显示31.25%,即使是在4个小时没有数据写入的情况,使用率也没有变为0,这是为什么?"
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
问题1:
关于资源使用率的计算,你可能误解了。这个31.25%并不是指你的任务正在使用的CPU或内存资源,而是指你的任务占用了多少比例的资源池。也就是说,如果你的集群有8个核心,那么这个任务就占用了1个核心,也就是1/8=12.5%的资源。但是这个资源并不是一直在使用,而是在任务运行的时候才会使用。所以,即使你的任务已经运行了一段时间,但是如果它现在没有运行,那么它的资源使用率仍然是12.5%。
关于第二个问题,即使在没有数据写入的情况下,你的任务仍然会定期进行检查,以确保数据的一致性。这就是为什么即使在没有数据写入的情况下,你的任务的资源使用率也不会变为0的原因。
问题2:
如果你的数据源在特定的时间段内没有数据写入,那么可能是因为在这段时间内,数据源没有产生新的数据。
问题一:
资源使用率指的是使用的CPU核心数占总CPU核心数的比例。在这个例子中,配置的是一个线程,意味着您只占用了四分之一的CPU核心,所以资源使用率为1/8 = 12.5%。
问题二:
由于任务还在运行,所以即使在4小时没有数据写入,使用率也不会变回0。请等待一段时间,当任务结束时资源使用率就会回到0。另外,请检查您的DataWorks设置,看看是否存在其他同步任务在执行。
关于jobid的问题,如果任务在22点到23点之间没有数据写入,请检查是否出现了网络或数据源的问题,同时检查日志来获取更详细的错误信息。
"这个es的字段映射问题,第一个是符合预期的 实时任务配置一个库里多张表应该也是占用这么多资源 [2-5]库就建议8c16g了
第二个问题可以发一下 实时日志里的 region和jobid 信息 以及截图看下读出写入数据量大表;再确认一下 源端这段时间内是否有更新数据
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”"
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。