这就需要引入各类计算引擎,计算平台事业部拥有丰富的各类计算引擎,有开源 体系的 spark、presto、hive、flink,还有自研的 MaxCompute、Hologres,这里的挑 战在于如何方便的发挥各类引擎的长处,让湖中的数据能够被各类引擎访问和计算。为此 DataWorks 提供了便捷的数据迁移方式(方便数据在各类引擎中流转穿梭)、提供一站式 的数据开发环境,从即席查询到周期的 etl 开发,DataWorks 提供了各个计算引擎的统一 计算任务的开发和运维能力。
阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11