开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks实时计算只能用EMR Spark Streaming节点吗?有没有flink sq

DataWorks实时计算只能用EMR Spark Streaming节点吗?有没有flink sql

展开
收起
真的很搞笑 2023-06-29 08:13:48 82 0
2 条回答
写回答
取消 提交回答
  • DataWorks实时计算支持使用EMR Spark Streaming节点进行计算,也支持使用Flink SQL进行实时计算。Flink SQL是Flink的一个SQL接口,可以通过SQL语句来编写实时计算任务,较为简单方便。需要注意的是,使用Flink SQL需要提前在DataWorks中自建Flink集群,并且在数据源和数据存储配置时需要选择对应的Flink集群。

    2023-06-30 07:47:49
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    在DataWorks中,实时计算支持EMR Spark Streaming节点和EMR Flink节点两种计算引擎,您可以根据自己的需求选择合适的计算引擎。

    具体来说,EMR Spark Streaming节点适用于数据量较小、数据处理逻辑简单的场景,而EMR Flink节点适用于数据量较大、数据处理逻辑复杂的场景。EMR Flink节点相对于EMR Spark Streaming节点来说,在容错性、流式计算、状态管理等方面有更好的表现。

    在DataWorks中,使用EMR Flink节点进行实时计算的步骤与使用EMR Spark Streaming节点类似。您可以按照以下步骤来进行操作:

    创建EMR Flink集群 在DataWorks控制台中,创建一个EMR Flink集群,并配置所需的资源和服务。

    创建实时计算节点 在DataWorks中,创建一个实时计算节点,并选择EMR Flink计算引擎。

    编写Flink程序 使用Flink编写您的实时计算程序,并在DataWorks中提交该程序。

    运行实时计算任务 在DataWorks中,运行您的实时计算任务,并监控任务的运行状态和输出。

    2023-06-29 19:21:08
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    EMR弹性低成本离线大数据分析最佳实践 立即下载
    阿里云AnalyticDB+Data Works 企业数仓构 立即下载
    AnalyticDB+DataWorks企业数仓构建方案 立即下载