EMR Workflow 开启公测,100%兼容开源 Apache DolphinScheduler

本文涉及的产品
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: EMR Workflow 是一个全托管的工作流和任务调度服务,100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。

产品介绍

EMR Workflow 产品简介

EMR Workflow 是一个全托管的工作流和任务调度服务,100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。


EMR Workflow 产品优势

  • 即开即用,免部署、免运维。
  • 基于阿里云基础设施提供稳定可靠的云原生Serverless服务。
  • 与阿里云 RAM 账号体系兼容,提供企业级的安全和隔离能力。
  • 无缝对接 EMR 资源集群和各种大数据计算存储引擎,例如Hive、Spark和Flink等。
  • 提供与 Apache DolphinScheduler 兼容的接口和使用体验,支持开源DolphinScheduler 和 EMR 旧版数据开发作业的一键迁移。


EMR Workflow 产品功能

EMR Workflow 具有如下功能:

  • 支持多种任务类型:例如 Shell、Spark、HIVECLI 等多种类型的任务调度。
  • 可视化的任务流程编辑:支持通过可视化的方式创建任务流程。
  • 实时监控:提供实时的任务监控和日志查看
  • 定时任务管理:支持定时任务的创建和管理。
  • 异常告警:支持异常告警和通知,保障任务调度的及时响应
  • 管理文件:支持可视化创建文件、上传文件等操作



公测说明

公测时间说明

EMR Workflow 公测已于2023年6月29日开启,预计于2023年9月30日结束。公测面向所有用户开放,您可以在E-MapReduce控制台,选择EMR Studio > Workflow,进入EMR Workflow页面创建项目并进行测试。

image.png

重要

公测期间您可以免费试用 EMR Workflow 服务,但 EMR Workflow 工作流运行时需要关联 EMR 集群,创建或使用已有的 EMR 集群会产生 EMR 和 ECS 等费用,详情请参见计费项


公测限制

公测期间,有以下限制:

  • 免费提供1CU调度资源,建议并发执行任务数不超过10个。
  • 资源中心上传文件总量不超过5 GB。
  • 不保障服务等级协议SLA,但服务不降级。

说明

如果使用过程中遇到任何疑问,可以钉钉搜索钉钉群号加入钉钉群31675206进行咨询。


更多 EMR Workflow  点此了解>>

相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
目录
相关文章
|
6月前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
775 5
|
9天前
|
消息中间件 监控 数据可视化
Apache Airflow 开源最顶级的分布式工作流平台
Apache Airflow 是一个用于创作、调度和监控工作流的平台,通过将工作流定义为代码,实现更好的可维护性和协作性。Airflow 使用有向无环图(DAG)定义任务,支持动态生成、扩展和优雅的管道设计。其丰富的命令行工具和用户界面使得任务管理和监控更加便捷。适用于静态和缓慢变化的工作流,常用于数据处理。
Apache Airflow 开源最顶级的分布式工作流平台
|
13天前
|
存储 SQL Apache
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
Apache Doris 是一个基于 MPP 架构的高性能实时分析数据库,以其极高的速度和易用性著称。它支持高并发点查询和复杂分析场景,适用于报表分析、即席查询、数据仓库和数据湖查询加速等。最新发布的 2.0.2 版本在性能、稳定性和多租户支持方面有显著提升。社区活跃,已广泛应用于电商、广告、用户行为分析等领域。
Apache Doris 开源最顶级基于MPP架构的高性能实时分析数据库
|
3月前
|
分布式计算 大数据 MaxCompute
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
EMR Remote Shuffle Service实践问题之阿里云RSS的开源计划内容如何解决
|
4月前
|
存储 分布式计算 Serverless
|
6月前
|
存储 缓存 安全
阿里云EMR数据湖文件系统: 面向开源和云打造下一代 HDFS
本文作者详细地介绍了阿里云EMR数据湖文件系统JindoFS的起源、发展迭代以及性能。
72715 79
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
203 0
|
6月前
|
Kubernetes Cloud Native API
欢迎报名 Apache Seata (incubating) 开源之夏
Apache Seata (incubating) 邀请学生参加 2024 年开源之夏活动,报名时间为 4 月 30 日至 6 月 3 日。该项目旨在培养分布式事务领域的开发者,参与者将远程协作并有机会获得奖金。
1324 17
|
5月前
|
SQL 运维 Serverless
阿里云 EMR StarRocks VS 开源版本功能差异介绍
阿里云 E-MapReduce Serverless StarRocks 版是阿里云提供的 Serverless StarRocks 全托管服务,提供高性能、全场景、极速统一的数据分析体验,具备开箱即用、弹性扩展、监控管理、慢 SQL 诊断分析等全生命周期能力。内核 100% 兼容 StarRocks,性能比传统 OLAP 引擎提升 3-5 倍,助力企业高效构建大数据应用。本篇文章重点介绍阿里云 EMR StarRocks 与开源 StarRocks 的对比与客户案例。
335 5
|
6月前
|
存储 分布式计算 Serverless
阿里云 EMR Serverless Spark 版开启免费公测
EMR Serverless Spark 版免费公测已开启,预计于2024年06月25日结束。公测阶段面向所有用户开放,您可以免费试用。
617 5

推荐镜像

更多