Apache适用于AWS EMR集群的最佳Airflow架构是什么？
我有一个带有1个主节点，30个核心节点和一些自动缩放任务节点的AWS EMR集群。现在，Oozie正在群集上运行数百个Hive和mysql作业。我将把一些工作从Oozie换成Airflow。我用谷歌搜索将Airflow应用于集群。我发现所有dag应该位于每个节点上，并且必须在所有节点上安装Airflow Worker。但是，我的dag将被频繁更新，新的dag将被频繁添加，但是节点的数量大约为100，甚至使用了自动缩放的节点。而且，如您所知，只有主节点在群集上具有hive / mysql应用程序。所以我很困惑。谁能告诉我将气流架构应用于我的EMR集群？
展开
收起
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
相关课程
更多
推荐问答
