《企业级云原生白皮书项目实战》——第五章 大数据——5.2 云原生大数据计算服务 MaxCompute——5.2.6 数据开发及任务调度(上) https://developer.aliyun.com/article/1228467?groupCode=supportservice
5.2.6.2使用DataWorks进行作业调度
DataWorks提供了高度可视化的集成开发环境(IDE),给MaxCompute的开发、管理工作带来了极大的便捷。
5.2.6.2.1 DataWorks提供给Maxcompute的节点类型
对于MaxCompute引擎,目前主要支持以下几种类型的可视化开发:
SQL类开发节点
1.普通的ODPS SQL节点
2.ODPS script节点:多语句的SQL脚本文件,可作为整体一次性编译和资源调度
3.SQL组件节点:可复用公司、团队内其他开发成员贡献的模板,提升开发效率
MaxCompute生态类节点
1.PyODPS2/PyODPS3
2.ODPS MR (MapReduce)
3.ODPS Spark
DDL类
1.可视化表创建
2.可视化资源管理
3.可视化函数管理
5.2.6.2.2 DataWorks开发流程示例
DataWorks的DataStudio(数据开发)模块提供了界面化、智能高效的大数据数据开发与测试体验。除了IDE基础的代码补齐、语法校验等功能外,更重要的是,区别于传统的脚本化调度方式,DataStudio提供了便捷的调度及依赖的拖拽及可视化配置。并配套提供了冒烟测试、快速提交发布的能力。推荐将DataStudio作为MaxCompute开发的主要IDE。这也是目前云上用户使用的最主流方式。
上图为整个MaxCompute SQL开发流程的简单抽象,供参考。