开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks支持哪些实时计算引擎?

dataworks支持哪些实时计算引擎?

展开
收起
真的很搞笑 2023-12-31 08:34:35 79 0
3 条回答
写回答
取消 提交回答
  • 阿里云DataWorks支持的实时计算引擎包括:

    1. Flink实时计算:基于开源项目Apache Flink,提供低延迟、高吞吐量的流式数据处理能力。

    2. Blink(StreamCompute):阿里巴巴集团自研的大规模实时计算引擎,兼容Apache Flink API,并在性能和易用性上做了优化。

    2023-12-31 13:32:12
    赞同 1 展开评论 打赏
  • DataWorks支持绑定E-MapReduce引擎的实时计算任务。同时,它还提供了基于阿里巴巴实时计算引擎Flink的一站式流计算开发平台Stream Studio。该平台支持可视化拖拽DAG和SQL两种开发模式,并且能够实现DAG与SQL互相转换,使得用户可以通过直观的操作来构建流计算作业。

    此外,阿里云DataWorks还以All in one box的方式提供Serverless化服务,基于阿里云MaxCompute、Flink作为核心计算引擎,涵盖了数据集成、数据开发(实时离线任务一体化开发、实时离线异构数据湖查询)、算法开发、数据服务、数据治理、数据应用等各方面能力。这种全链路的能力方便用户在云端构建出符合自身需求的数据智能解决方案。

    2023-12-31 12:07:54
    赞同 展开评论 打赏
  • 阿里云DataWorks支持多种实时计算引擎,其中包括:

    1. 实时计算 Flink版

      • 提供基于Apache Flink的实时计算服务,支持SQL和API方式开发实时处理任务,能够进行实时数据清洗、分析、同步以及流批一体的混合计算。
    2. Blink(内部可能称为Flink SQL)

      • 阿里巴巴对Apache Flink进行了深度优化后的实时计算引擎,同样支持SQL来进行实时数据处理。
    3. 其他潜在支持的实时计算框架

      • 虽然没有明确列出所有实时计算引擎,但根据阿里巴巴在大数据领域的布局和技术积累,有可能还支持如Storm、Spark Streaming等其他开源或自研的实时计算框架。

    请注意,具体支持情况可能会随着阿里云产品的更新和服务升级而有所变化,建议直接查阅最新的阿里云DataWorks官方文档以获取最准确的支持信息。

    2023-12-31 11:12:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载