dataworksv0支持的计算引擎有哪些?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
阿里云DataWorks V0版本支持的计算引擎包括MaxCompute、AnalyticDB、MySQL、Oracle、SQL Server、PostgreSQL、Hologres等。其中,MaxCompute是阿里云自研的大数据计算平台,支持PB级数据存储和计算;AnalyticDB是阿里云自研的云原生数据仓库,支持PB级数据存储和分析;MySQL、Oracle、SQL Server、PostgreSQL等是传统的关系型数据库,支持结构化数据存储和查询;Hologres是阿里云自研的HTAP(Hybrid Transactional/Analytical Processing)型云原生数据仓库,支持实时查询和分析。
在DataWorks V0版本中,可以根据实际需求和数据类型选择不同的计算引擎进行数据处
DataWorks V0版本目前支持以下计算引擎:
MaxCompute(原名ODPS):MaxCompute是阿里巴巴集团推出的大数据计算平台,用于处理海量数据的分析和计算。它提供了高性能的分布式计算、存储和数据处理能力,适合处理大规模数据集。
Hadoop MapReduce:Hadoop MapReduce是Apache Hadoop生态系统中的一种分布式计算框架,用于处理大数据集的并行计算。DataWorks V0支持使用Hadoop MapReduce进行数据处理和计算。
Spark:Spark是一种快速而通用的分布式计算系统,具有高效的内存计算能力。DataWorks V0支持使用Spark进行数据处理和计算任务。
支持多种计算引擎DataWorks V3.0全新升级了多引擎插件化架构,在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute。E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎服务。 DataWorks V3.0全面支持EMR引擎(目前仅DataWorks专业版及以上版本支持,且需要收集工作空间ID后,通过白名单开通),包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等功能。详情请参见E-MapReduce。实时计算:实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持实时计算引擎,推出一站式实时计算开发平台Stream Studio,为您提供可视化拖拽式构建Flink任务的功能,即DAG开发模式。同时支持DAG与Flink SQL互相转换,为您提供实时任务运维和智能诊断等功能,大大降低Flink任务开发的门槛,提高开发效率。详情请参见实时计算。交互式分析:交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议,并与大数据生态无缝打通的实时交互式分析产品。 交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索,可以让您快速对接现有的BI工具。 DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio,为您提供标准化、无门槛的开发管理服务和一站式实时数仓构
https://help.aliyun.com/document_detail/147944.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。