实时计算轻松上手,阿里云DataWorks Stream Studio正式发布

简介: Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。

Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。

Stream Studio的推出意味着DataWorks正式对外提供实时计算能力,进入到流、批全覆盖的大数据全功能领域

在现有的实时数据开发领域中,用户普遍面临下面几大问题:

流任务开发复杂

  • 无论是SQL还是Java、python,开发任务必须写代码,而且代码形式不利于后期业务逻辑分析和维护
  • 开发过程中无法调试,只能等全部任务完成,才能上线调试,有问题修改后在上线,反复验证
  • UDF开发需要单独打包编译上传,跟任务本身属于分割开发状态,容易造成流程繁琐,版本混淆

运维难度大、门槛高

  • 运维门槛非常高,分析问题需要在很多运维指标里抽丝剥茧,如果不是对实时计算引擎了解精深,对运行原理非常熟悉,很难做到有效运维、排查问题。
  • 单点任务开发功能
  • 很多工具只是负责流任务开发和运维,而用户真正要使用的一套数仓服务,还需要用户自己去对接流任务的前后端输入产出

Stream Studio针对现在已有的这些问题,进行了高效的优化:

  • 零代码开发实时任务:全面面向业务维度,提供SQL和DAG两种开发模式,并且支持SQL和DAG互转,在业界尚属首次,非专业人士也能轻松上手。
    image
  • 零学习成本:DAG模式下针对每一种算子进行错误检查以及数据推演,准确辅助用户“手把手”使用DAG进行开发。
  • 所见即所得:为流计算用户提供边开发边调试的功能,解决用户在SQL开发过程中无法调试的痛点
  • 一站式开发:深度打通DataWorks Function Studio,无需依赖任何第三方开发工具,用户可以在线编写UDF,同时支持一键发布到Stream Studio。
  • 丰富的资源库:为用户提供性能卓越的通用UDF,扩充Flink开发边界,避免重复造轮子
  • 低运维成本:将专业的Flink任务运维诊断小白化,支持任务智能故障诊断,提供一键执行任务问题排查的能力,可对任务延迟、任务失败、任务无数据产出等异常场景进行智能分析,并将结果直观的反馈给用户,提示用户修复方案,为流计算用户提供一站式的智能诊断服务体验

Stream Studio发布会直播间传送门
更多问题欢迎参与聚能聊话题

点击了解:“阿里云新品发布会频道”
立即订阅:阿里云新品发布会·周刊

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
相关文章
|
4月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
818 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
4月前
|
存储 运维 分布式计算
零售数据湖的进化之路:滔搏从Lambda架构到阿里云Flink+Paimon统一架构的实战实践
在数字化浪潮席卷全球的今天,传统零售企业面临着前所未有的技术挑战和转型压力。本文整理自 Flink Forward Asia 2025 城市巡回上海站,滔搏技术负责人分享了滔搏从传统 Lambda 架构向阿里云实时计算 Flink 版+Paimon 统一架构转型的完整实战历程。这不仅是一次技术架构的重大升级,更是中国零售企业拥抱实时数据湖仓一体化的典型案例。
315 0
|
存储 监控 大数据
阿里云实时计算Flink在多行业的应用和实践
本文整理自 Flink Forward Asia 2023 中闭门会的分享。主要分享实时计算在各行业的应用实践,对回归实时计算的重点场景进行介绍以及企业如何使用实时计算技术,并且提供一些在技术架构上的参考建议。
1634 7
阿里云实时计算Flink在多行业的应用和实践
|
11月前
|
消息中间件 关系型数据库 Kafka
阿里云基于 Flink CDC 的现代数据栈云上实践
阿里云基于 Flink CDC 的现代数据栈云上实践
212 1
|
存储 物联网 大数据
探索阿里云 Flink 物化表:原理、优势与应用场景全解析
阿里云Flink的物化表是流批一体化平台中的关键特性,支持低延迟实时更新、灵活查询性能、无缝流批处理和高容错性。它广泛应用于电商、物联网和金融等领域,助力企业高效处理实时数据,提升业务决策能力。实践案例表明,物化表显著提高了交易欺诈损失率的控制和信贷审批效率,推动企业在数字化转型中取得竞争优势。
530 16
|
SQL 数据采集 DataWorks
基于DataWorks的多场景实践及数据开发Data Studio最新体验测评
DataWorks是阿里云推出的一站式智能大数据开发治理平台,自2009年发布以来,历经多次迭代,成为企业数字化转型的重要工具。本文通过多个实践案例,如公共电影票房数据预处理,展示了DataWorks如何帮助企业高效处理大数据,涵盖数据集成、ETL开发、数据分析及治理等全流程。最新版DataWorks引入了智能助手Copilot,进一步提升了用户体验和工作效率。
|
SQL DataWorks 关系型数据库
阿里云 DataWorks 正式支持 SelectDB & Apache Doris 数据源,实现 MySQL 整库实时同步
阿里云数据库 SelectDB 版是阿里云与飞轮科技联合基于 Apache Doris 内核打造的现代化数据仓库,支持大规模实时数据上的极速查询分析。通过实时、统一、弹性、开放的核心能力,能够为企业提供高性价比、简单易用、安全稳定、低成本的实时大数据分析支持。SelectDB 具备世界领先的实时分析能力,能够实现秒级的数据实时导入与同步,在宽表、复杂多表关联、高并发点查等不同场景下,提供超越一众国际知名的同类产品的优秀性能,多次登顶 ClickBench 全球数据库分析性能排行榜。
719 6
|
存储 分布式计算 DataWorks
关于阿里云DataWorks的6个问题记录
该文章记录了关于阿里云DataWorks使用的六个常见问题及解答,帮助用户更好地理解和操作DataWorks平台。
487 0
关于阿里云DataWorks的6个问题记录
|
机器学习/深度学习 DataWorks 数据挖掘
基于阿里云Hologres和DataWorks数据集成的方案
基于阿里云Hologres和DataWorks数据集成的方案
288 7
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
591 3