DataWorks V3.0全面支持了实时计算引擎,推出了一站式实时计算开发平台Stream Studio,提供可视化拖拽式构建Flink任务的能力,即DAG开发模式
是的,DataWorks支持实时计算。DataWorks实时计算(Realtime Compute)是一款基于开源项目Apache Flink的实时数据处理引擎,它通过实时流式计算,提供低延迟、高吞吐的流式数据处理能力。
使用DataWorks实时计算,可以对流式数据进行实时计算、实时分析、实时处理,实现对海量数据的快速响应和实时处理,支持的数据源种类包括:阿里云消息服务、阿里云数据总线、阿里云流计算、Kafka、MQTT、自定义的Socket数据源等
同时,DataWorks实时计算也提供丰富的计算能力和功能,例如:窗口分析、数据分流、数据索引和数据存储等。
需要注意的是,使用DataWorks实时计算,需要了解Flink编程知识和相关的技术细节,以及配置好Flink运行环境,才能完成实时计算任务的开发和部署。
Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。
DataWorks支持多种计算和存储引擎服务,包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算(基于Flink)、机器学习PAI、图计算服务Graph Compute和交互式分析服务等,并且支持用户自定义接入计算和存储服务。DataWorks为您提供全链路智能大数据及AI开发和治理服务。(引用阿里DataWorks文档)
你好,dataworks支持实时计算。 不过,DataWorks当前仅支持对EMR Spark Streaming及EMR Streaming SQL类型的,建议其它场景使用Flink 实时计算
DataWorks支持实时计算。您可以使用DataWorks的流计算模块,通过配置数据流、计算节点、数据源和数据目的地等,实现实时数据处理和分析。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。