开发者社区> 问答> 正文

使用Airflow dag运行创建EMR群集,一旦任务完成,EMR将被终止

宋淑婷 2019-04-23 14:26:16 243

我有Airflow作业,它们在EMR集群上运行良好。我需要的是,假设我有4个气流工作,需要一个EMR集群让我们说20分钟完成任务。为什么我们不能在DAG运行时创建EMR集群,一旦工作完成,它将终止创建的EMR集群。

分享到
取消 提交回答
全部回答(1)
  • 宋淑婷
    2019-07-17 23:34:04

    执行此操作的最佳方法可能是在Airflow DAG的根目录中创建一个创建EMR集群的节点,然后在DAG的最末端创建另一个节点,在所有其他节点完成后将集群向下旋转。

    0 0
+ 订阅

时时分享云计算技术内容,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。

推荐文章