在DataWorks上进行EMR任务开发前,为保证开发流程顺利执行,需要分别在EMR侧及DataWorks侧进行相关准备工作。
开发EMR作业
详情请参考:DataWorks On EMR开发流程(必读)
DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地产出数据。本文为您介绍使用DataLake(新版数据湖)集群在DataWorks上进行EMR作业的注意事项及开发流程,建议操作前仔细查看。参考地址:https://help.aliyun.com/document_detail/441120.html?spm=a2c6h.13066369.question.23.56636631J8A4tT
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。