老师,客户有两个问题,麻烦帮忙确认下:1. 客户dataphin的任务上游是dataworks调度的,dataphin的job没有等到上游的新的partition,会占用内存cpu吗? 2. dataphin 中fail的 task,需要算费用吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
如果 Dataphin 的任务上游是 DataWorks 调度的,而 Dataphin 的任务没有等到上游的新的 partition,那么 Dataphin 的 job 会一直等待上游的 partition,这时候会占用一定的内存和 CPU 资源,但是这个占用的资源应该是比较小的,因为 Dataphin 会定期轮询上游的 partition,如果有新的 partition,就会立即启动 job 进行处理,不会一直占用资源。
在 Dataphin 中,如果一个任务执行失败,那么这个任务会被标记为 fail,但是这个任务的执行过程中所使用的资源(例如 CPU、内存、存储等)都是会被计费的。因此,如果一个任务经常执行失败,那么这个任务的计费会比较高。建议在使用 Dataphin 进行任务开发时,尽量避免任务失败,以减少不必要的计费。
1.没有等到新的分区,意思是这个任务会用到这个上游依赖任务中的数据表新的分区数据吗?上游依赖的任务中的表,数据没有更新任务也会运行哈,占用内存指的是占用计算引擎的资源是吗?任务运行就会占用资源哈,2,计算引擎是maxcompute的话,任务下发到maxcompute运行失败的话,费用问题需要咨询下maxcompute人员哈,阿里云中心提工单给maxcompute,此回答整理自钉群“Dataphin二线技术支持群”