dataworksv0支持的计算引擎有哪些?

dataworksv0支持的计算引擎有哪些?

展开
收起
芯在这 2023-04-20 08:13:41 155 分享 版权
3 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    dataworksv0支持以下计算引擎:

    Apache Spark:是一个大数据处理框架,支持分布式计算和数据处理。

    Apache Flink:是一个流处理框架,支持实时数据处理和批处理。

    Apache Hadoop:是一个分布式计算框架,支持大数据处理和存储。

    Apache Hive:是一个基于Hadoop的数据仓库,支持SQL查询和数据分析。

    Apache Pig:是一个基于Hadoop的数据流处理工具,支持数据流分析和数据处理。

    Apache Storm:是一个实时数据处理框架,支持分布式计算和数据流处理。

    Apache Beam:是一个统一的编程模型,支持批处理和流处理。

    Google Cloud Dataflow:是一个云原生的批处理和流处理服务,支持Apache Beam编程模型。

    Amazon EMR:是一个托管的Hadoop集群服务,支持Apache Spark、Apache Hive等计算引擎。

    Microsoft Azure HDInsight:是一个托管的Hadoop集群服务,支持Apache Spark、Apache Hive等计算引擎。

    2023-04-20 18:53:21
    赞同 展开评论
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks支持多种计算和存储引擎,包括:

    1) 离线计算MaxCompute(最常见)、

    2) 开源大数据引擎E-MapReduce、

    3) 实时计算(基于Flink)、

    4) 机器学习PAI、

    5) 图计算服务Graph Compute、

    6) Hologres交互式服务

    7)ElastickSearch交互式分析&搜索引擎

    8)AnalyticDB实时分析库

    9)支持用户自定义计算和存储引擎

    2023-04-20 15:36:17
    赞同 展开评论
  • 支持多种计算引擎DataWorks V3.0全新升级了多引擎插件化架构,在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute。E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎服务。 DataWorks V3.0全面支持EMR引擎(目前仅DataWorks专业版及以上版本支持,且需要收集工作空间ID后,通过白名单开通),包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等功能。详情请参见E-MapReduce。实时计算:实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持实时计算引擎,推出一站式实时计算开发平台Stream Studio,为您提供可视化拖拽式构建Flink任务的功能,即DAG开发模式。同时支持DAG与Flink SQL互相转换,为您提供实时任务运维和智能诊断等功能,大大降低Flink任务开发的门槛,提高开发效率。详情请参见实时计算。交互式分析:交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议,并与大数据生态无缝打通的实时交互式分析产品。 交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索,可以让您快速对接现有的BI工具。 DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio,为您提供标准化、无门槛的开发管理服务和一站式实时数仓构 https://help.aliyun.com/document_detail/147944.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 11:22:21
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理