实时计算轻松上手,阿里云DataWorks Stream Studio正式发布

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
大数据开发治理平台 DataWorks,不限时长
简介: Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。

Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。

Stream Studio的推出意味着DataWorks正式对外提供实时计算能力,进入到流、批全覆盖的大数据全功能领域

在现有的实时数据开发领域中,用户普遍面临下面几大问题:

流任务开发复杂

  • 无论是SQL还是Java、python,开发任务必须写代码,而且代码形式不利于后期业务逻辑分析和维护
  • 开发过程中无法调试,只能等全部任务完成,才能上线调试,有问题修改后在上线,反复验证
  • UDF开发需要单独打包编译上传,跟任务本身属于分割开发状态,容易造成流程繁琐,版本混淆

运维难度大、门槛高

  • 运维门槛非常高,分析问题需要在很多运维指标里抽丝剥茧,如果不是对实时计算引擎了解精深,对运行原理非常熟悉,很难做到有效运维、排查问题。
  • 单点任务开发功能
  • 很多工具只是负责流任务开发和运维,而用户真正要使用的一套数仓服务,还需要用户自己去对接流任务的前后端输入产出

Stream Studio针对现在已有的这些问题,进行了高效的优化:

  • 零代码开发实时任务:全面面向业务维度,提供SQL和DAG两种开发模式,并且支持SQL和DAG互转,在业界尚属首次,非专业人士也能轻松上手。
    image
  • 零学习成本:DAG模式下针对每一种算子进行错误检查以及数据推演,准确辅助用户“手把手”使用DAG进行开发。
  • 所见即所得:为流计算用户提供边开发边调试的功能,解决用户在SQL开发过程中无法调试的痛点
  • 一站式开发:深度打通DataWorks Function Studio,无需依赖任何第三方开发工具,用户可以在线编写UDF,同时支持一键发布到Stream Studio。
  • 丰富的资源库:为用户提供性能卓越的通用UDF,扩充Flink开发边界,避免重复造轮子
  • 低运维成本:将专业的Flink任务运维诊断小白化,支持任务智能故障诊断,提供一键执行任务问题排查的能力,可对任务延迟、任务失败、任务无数据产出等异常场景进行智能分析,并将结果直观的反馈给用户,提示用户修复方案,为流计算用户提供一站式的智能诊断服务体验

更多的StreamStudio使用请访问:https://help.aliyun.com/document_detail/108247.html
Stream Studio发布会直播间传送门
更多问题欢迎参与聚能聊话题

点击了解:“阿里云新品发布会频道”
立即订阅:阿里云新品发布会·周刊

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
1月前
|
SQL 数据采集 分布式计算
DataWorks常见问题之添加阿里云selectdb失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
28天前
|
SQL 存储 API
阿里云实时计算Flink的产品化思考与实践【下】
本文整理自阿里云高级产品专家黄鹏程和阿里云技术专家陈婧敏在 FFA 2023 平台建设专场中的分享。
110741 85
阿里云实时计算Flink的产品化思考与实践【下】
|
1月前
|
分布式计算 关系型数据库 OLAP
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
77 0
|
1月前
|
人工智能 DataWorks 数据可视化
心动基于阿里云DataWorks构建游戏行业通用大数据模型
心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。
334 1
|
3月前
|
存储 NoSQL MongoDB
阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference
本文整理自阿里云 Flink 团队归源老师关于阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference 的研究。
46940 2
阿里云 Flink 原理分析与应用:深入探索 MongoDB Schema Inference
|
3月前
|
存储 测试技术 数据处理
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
117 0
|
3月前
|
消息中间件 SQL Java
阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录
阿里云Flink-自定义kafka sink partitioner实践及相关踩坑记录
|
3月前
|
供应链 流计算
飞鹤基于阿里云实时计算Flink构建数字化运营管理体系
飞鹤借助实时计算Flink等产品,构建数字化运营管理体系,建立实时预警机制,提前窥探风险,为供应链等业务决策提效。
623 0
|
3月前
|
存储 测试技术 Apache
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
本文整理自阿里云 Flink 存储引擎团队李晋忠,兰兆千,梅源关于阿里云实时计算企业级状态存储引擎 Gemini 的研究。
125363 4
阿里云实时计算企业级状态存储引擎 Gemini 技术解读
|
3月前
|
分布式计算 DataWorks 大数据
我想问一下DataWorks的idea里面配置studio,不知道要怎么配?
我想问一下DataWorks的idea里面配置studio,不知道要怎么配?
34 0