dataworksv0支持的计算引擎有哪些?

dataworksv0支持的计算引擎有哪些?

展开
收起
真的很搞笑 2023-05-21 18:00:50 123 分享 版权
2 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    dataworksv0 支持的计算引擎如下:

    Spark: 可以使用 Apache Spark 的内置功能进行数据处理和分析,包括批处理、流处理和机器学习等。 Hive: 可以使用 HiveQL 查询语言在 Hadoop 集群中查询和处理数据,支持大规模的数据仓库和分布式查询。 Presto: 可以使用 Presto SQL 查询引擎在分布式环境中进行 SQL 查询,支持实时的数据查询和分析。 Flink: 可以使用 Apache Flink 的分布式流处理引擎对实时数据流进行处理和分析,支持低延迟和高吞吐量的处理。 TensorFlow: 可以使用 TensorFlow 进行大规模机器学习和深度学习工作负载,支持分布式训练和推理。 PyTorch: 可以使用 PyTorch 进行机器学习和深度学习工作负载,支持灵活的动态计算图和 GPU 加速计算。 SQL Server: 可以使用 SQL Server 数据库引擎进行关系型数据库查询和数据处理。 Power BI: 可以使用 Power BI 对数据进行可视化和报表生成,支持数据仪表盘和交互式分析。

    2023-05-21 21:45:59
    赞同 展开评论
  • 支持多种计算引擎DataWorks V3.0全新升级了多引擎插件化架构,在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute。E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎服务。 DataWorks V3.0全面支持EMR引擎(目前仅DataWorks专业版及以上版本支持,且需要收集工作空间ID后,通过白名单开通),包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等功能。详情请参见E-MapReduce。实时计算:实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持实时计算引擎,推出一站式实时计算开发平台Stream Studio,为您提供可视化拖拽式构建Flink任务的功能,即DAG开发模式。同时支持DAG与Flink SQL互相转换,为您提供实时任务运维和智能诊断等功能,大大降低Flink任务开发的门槛,提高开发效率。详情请参见实时计算。交互式分析:交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议,并与大数据生态无缝打通的实时交互式分析产品。 交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索,可以让您快速对接现有的BI工具。 DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio,为您提供标准化、无门槛的开发管理服务和一站式实时数仓构 https://help.aliyun.com/document_detail/147944.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-05-21 18:09:00
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理