dataworksv0支持的计算引擎有哪些?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
dataworksv0支持以下计算引擎:
Apache Spark:是一个大数据处理框架,支持分布式计算和数据处理。
Apache Flink:是一个流处理框架,支持实时数据处理和批处理。
Apache Hadoop:是一个分布式计算框架,支持大数据处理和存储。
Apache Hive:是一个基于Hadoop的数据仓库,支持SQL查询和数据分析。
Apache Pig:是一个基于Hadoop的数据流处理工具,支持数据流分析和数据处理。
Apache Storm:是一个实时数据处理框架,支持分布式计算和数据流处理。
Apache Beam:是一个统一的编程模型,支持批处理和流处理。
Google Cloud Dataflow:是一个云原生的批处理和流处理服务,支持Apache Beam编程模型。
Amazon EMR:是一个托管的Hadoop集群服务,支持Apache Spark、Apache Hive等计算引擎。
Microsoft Azure HDInsight:是一个托管的Hadoop集群服务,支持Apache Spark、Apache Hive等计算引擎。
DataWorks支持多种计算和存储引擎,包括:
1) 离线计算MaxCompute(最常见)、
2) 开源大数据引擎E-MapReduce、
3) 实时计算(基于Flink)、
4) 机器学习PAI、
5) 图计算服务Graph Compute、
6) Hologres交互式服务
7)ElastickSearch交互式分析&搜索引擎
8)AnalyticDB实时分析库
9)支持用户自定义计算和存储引擎
支持多种计算引擎DataWorks V3.0全新升级了多引擎插件化架构,在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute。E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎服务。 DataWorks V3.0全面支持EMR引擎(目前仅DataWorks专业版及以上版本支持,且需要收集工作空间ID后,通过白名单开通),包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等功能。详情请参见E-MapReduce。实时计算:实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持实时计算引擎,推出一站式实时计算开发平台Stream Studio,为您提供可视化拖拽式构建Flink任务的功能,即DAG开发模式。同时支持DAG与Flink SQL互相转换,为您提供实时任务运维和智能诊断等功能,大大降低Flink任务开发的门槛,提高开发效率。详情请参见实时计算。交互式分析:交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议,并与大数据生态无缝打通的实时交互式分析产品。 交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索,可以让您快速对接现有的BI工具。 DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio,为您提供标准化、无门槛的开发管理服务和一站式实时数仓构 https://help.aliyun.com/document_detail/147944.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。