DataWorksV3.0全新发布,新特性快速一览

简介: DataWorks V3.0全新升级了多引擎架构,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析、图计算服务(Graph Compute)。

DataWorks V3.0发布

• 发布版本:DataWorks V3.0
• 发布时间:2019年12月18日
• 发布范围:全球所有已开通DataWorks的地域
• 发布内容:DataWorks V2.0仅支持MaxCompute计算引擎,DataWorks V3.0全新升级了多引擎架构,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析、图计算服务(Graph Compute)。同一个工作空间支持多个引擎实例,方便对业务、任务和表进行统筹管理。同时支持跨地域任务依赖调度,任务调度更加灵活,方便跨地域业务之间协同工作。


DataWorks V3.0 核心特性

1. 支持多种计算引擎
DataWorks V3.0全新升级了多引擎插件化架构,在V2.0版本仅支持MaxCompute计算引擎的基础之上,在MaxCompute的基础之上,全新支持了开源大数据引擎E-MapReduce、实时计算(Realtime Compute)、交互式分析、图计算服务(Graph Compute)。
MaxCompute:
大数据计算服务MaxCompute(原名ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。DataWorks支持的最早的也是支持的最成熟完备的计算引擎,目前几乎已经覆盖了MaxCompute的所有能力。
E-MapReduce:
E-MapReduce(Elastic MapReduce,简称EMR)是构建于阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统(例如Hive)来分析和处理自己的数据的大数据引擎服务。DataWorks V3.0全面支持了EMR引擎(限DataWorks标准版及以上版本,目前还需要通过白名单开通),包含元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控、数据质量控制等能力。
实时计算:
实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持了实时计算引擎,推出了一站式实时计算开发平台Stream Studio,提供可视化拖拽式构建Flink任务的能力,即DAG开发模式。同时支持DAG与Flink SQL互相转换,大大降低了Flink任务开发门槛,提高了开发效率。同时提供了实时任务运维和智能诊断。
交互式分析:
交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议并与大数据生态无缝打通的实时交互式分析产品,支持对万亿级数据进行高并发低延时多维分析透视和业务探索,可让您快速对接现有BI工具。DataWorks V3.0全新推出了一站式OLAP开发平台Holo Studio,提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务以及高效、便捷的研发服务,从而提升研发效率。
图计算服务:
图计算服务(Graph Compute,简称GCS)是新一代一站式图数据管理和分析平台,具有数据加载快、规模可扩展、查询延时低(毫秒级)和离在线混合引擎与共享存储等优势。DataWorks V3.0全新推出了图计算开发平台Graph Studio,为图应用开发者提供了实例建模、数据导入、数据查询(Gremlin)、可视化分析等一站式的研发服务。

2.数据分析模块发布
数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。凭借简单易用的操作界面,使数据变化所见即所得,可视化完成数据的修改和分析、报表的搭建和分享,支持电子表格、可视化报表、维表三种分析形式。
DataWorks数据分析模块全新发布,快速的数据智能洞察平台点击查看

3.自定义节点插件
DataWorks V3.0已经官方支持了丰富的计算引擎,同时推出了自定义节点插件体系(限DataWorks 企业版),允许你以插件的形式自主接入自定义的计算服务或者数据库查询服务,您创建的自定义节点可以享受到与官方提供的节点同样的智能编辑器、任务调度编排、运维监控等开发体验。

4.支持多个引擎实例
DataWorks V2.0的一个工作空间只能支持一个引擎实例(例如对于MaxCompute引擎,一个工作空间只支持创建一个MaxCompute Project),DataWorks V3.0的一个工作空间支持创建或绑定多个引擎实例(限DataWorks专业版及以上版本),让你可以更灵活对业务所需的计算引擎、计算任务、数据表进行统一管理。

5.支持跨地域调度依赖
DataWorks V2.0仅支持同一地域(Region)的任务依赖,DataWorks V3.0支持了同一主账号下(租户)跨地域(限国内地域)的任务依赖(限DataWorks专业版及以上版本),极大了方便了分布在不同地域业务之间进行任务的协同依赖调度。

6.批量上云功能增强
批量上云对于用户来说一个非常快捷的支持现有数据库迁入阿里云的工具,此次改进增强了易用性,覆盖更多的迁移场景,操作也更加具备灵活性。
DataWorksV3.0 批量上云功能增强

相关实践学习
基于Hologres轻量实时的高性能OLAP分析
本教程基于GitHub Archive公开数据集,通过DataWorks将GitHub中的项⽬、行为等20多种事件类型数据实时采集至Hologres进行分析,同时使用DataV内置模板,快速搭建实时可视化数据大屏,从开发者、项⽬、编程语⾔等多个维度了解GitHub实时数据变化情况。
目录
相关文章
|
Java Maven Spring
|
8月前
|
Android开发
微信自动发朋友圈脚本,定时发朋友圈插件群发,多账户发朋友圈批量工具
整的微信朋友圈自动发布功能,包含环境检查、界面元素定位、图片识别、异常处理等模块
|
2月前
|
安全 搜索推荐 机器人
具身智能:零基础入门睿尔曼机械臂(一)——从硬件准备到首次运行全攻略
本教程带你零基础入门睿尔曼协作机器人,涵盖RM65、RM75、RML63等全系列机型。从开箱识别核心部件、接口功能,到单人快速组装、安全接线开机,再到有线/无线连接示教器及简单拖动示教操作,步骤清晰,图文并茂。助你50秒完成启动,快速实现轨迹复现,规范关机保护设备,轻松上手协作机器人应用。
571 0
|
2月前
|
人工智能 监控 测试技术
n8n+AI模型实现用例智能生成与脚本自维护
本文介绍如何在n8n中构建AI驱动的自动化工作流自维护系统。通过监控、AI生成测试用例与智能修复,让脚本具备“免疫系统”,降低维护成本,提升稳定性,实现人机协同的高效运维。
|
4月前
|
人工智能 物联网
Face-to-Photo 模型开源!联名麦橘MERJIC,遇见另一个你!
魔搭 DiffSynth-Studio 团队携手知名创作者麦橘MERJIC,正式开源全新 AI 图像生成模型——Face-to-Photo!该模型基于 Qwen-Image-Edit,采用 LoRA 的模型结构,专为人脸图像生成而优化,将一张普通的人脸照片转化…
756 13
|
6月前
|
Java jenkins 应用服务中间件
结合Jenkins与Tomcat,实施Maven项目的自动构建和部署流程。
任何项目构建和部署的自动化流程,总离不开对各个环节精细把控与密切配合。涉及到源代码管理、构建工具、持续集成服务器以及最终的运行时环境的协调。通过上述简洁实用的步骤,可以实现Maven项目从源代码到运行状态的无缝过渡,进而提升软件开发的效率与质量。
378 0
|
设计模式 算法 Java
Java中的多态性:深入理解与应用
【10月更文挑战第16天】 在Java编程的广阔天地中,多态性作为一种强大的面向对象特性,扮演着至关重要的角色。它允许我们以统一的方式处理不同类型的对象,极大地提高了程序的灵活性和可扩展性。本文将深入浅出地探讨Java中多态性的概念、实现机制以及在实际开发中的应用,帮助读者更好地理解和运用这一特性。
|
存储 缓存 网络协议
阿里云服务器实例选择:c7/g7/r7和c8i/g8i/r8i及c8y/g8y/r8y实例对比与选择参考
本文将重点介绍阿里云服务器七代云服务器实例(计算型c7、通用型g7、内存型r7)、八代云服务器实例(计算型c8i、通用型g8i、内存型r8i)以及倚天云服务器实例(计算型c8y、通用型g8y、内存型r8y)的主要性能、适用场景及选择参考,帮助用户根据自己的需求选择合适的云服务器实例。
749 10
|
Java
.如何根据 CPU 核心数设计线程池线程数量
IO 密集型:核心数*2 计算密集型: 核心数+1 为什么加 1?即使当计算密集型的线程偶尔由于缺失故障或者其他原因而暂停时,这个额外的线程也能确保 CPU 的时钟周期不会被浪费。
431 4
|
关系型数据库 MySQL 数据库连接
mysql从安装到建库,utf8mb4最佳实践,jdbc连接串全解析
mysql从安装到建库,utf8mb4最佳实践,jdbc连接串全解析
4704 0