开发者社区 问答 正文

老师,客户有两个问题,麻烦帮忙确认下:1. 客户dataphin的任务上游是dataworks调度的

老师,客户有两个问题,麻烦帮忙确认下:1. 客户dataphin的任务上游是dataworks调度的,dataphin的job没有等到上游的新的partition,会占用内存cpu吗? 2. dataphin 中fail的 task,需要算费用吗?

展开
收起
真的很搞笑 2023-04-11 23:52:55 297 分享 版权
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    如果 Dataphin 的任务上游是 DataWorks 调度的,而 Dataphin 的任务没有等到上游的新的 partition,那么 Dataphin 的 job 会一直等待上游的 partition,这时候会占用一定的内存和 CPU 资源,但是这个占用的资源应该是比较小的,因为 Dataphin 会定期轮询上游的 partition,如果有新的 partition,就会立即启动 job 进行处理,不会一直占用资源。

    在 Dataphin 中,如果一个任务执行失败,那么这个任务会被标记为 fail,但是这个任务的执行过程中所使用的资源(例如 CPU、内存、存储等)都是会被计费的。因此,如果一个任务经常执行失败,那么这个任务的计费会比较高。建议在使用 Dataphin 进行任务开发时,尽量避免任务失败,以减少不必要的计费。

    2023-04-18 12:05:39
    赞同 展开评论
  • 1.没有等到新的分区,意思是这个任务会用到这个上游依赖任务中的数据表新的分区数据吗?上游依赖的任务中的表,数据没有更新任务也会运行哈,占用内存指的是占用计算引擎的资源是吗?任务运行就会占用资源哈,2,计算引擎是maxcompute的话,任务下发到maxcompute运行失败的话,费用问题需要咨询下maxcompute人员哈,阿里云中心提工单给maxcompute,此回答整理自钉群“Dataphin二线技术支持群”

    2023-04-12 12:07:54
    赞同 展开评论