DataWorks 2021-05 产品月刊

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 产品活动:1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;产品功能更新:DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;......

本月DataWorks产品月刊为您带来

产品活动:

1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧

2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;独享数据集成/调度资源组首月5折


产品功能更新:

  1. DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;
  2. 开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;
  3. 任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;
  4. 新增FTP Check节点,支持定时检测指定的“FTP标Done文件”,实现DataWorks与外部系统的调度信号打通;
  5. 新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力;
  6. 全新改版了代码搜索功能,支持更实时、更精准和更灵活的代码全文搜索能力;


【产品活动】

1. 数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧>>

立即前往>>

2. 首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元>>

立即前往>>

3. 首月特惠!独享数据集成/独享调度资源组首月5折>>

立即前往>>


【产品功能更新】

1、DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的能力

支持MySQL、OceanBase、PolarDB等数据库实时同步至AnalyticDB MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,能够自动先全量同步,然后启动实时增量,实现数据不间断同步。其中实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。

查看详情:https://help.aliyun.com/document_detail/229552.htm


2、开放消息服务(Open Message)开启公测

DataWorks提供开放消息能力,您可以在DataWorks开放平台开启消息订阅功能。仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接参与公测并试用开放消息能力,无需申请和支付相关费用。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统深度集成。

查看详情:https://help.aliyun.com/document_detail/215365.html


3、DataWorks任务调度新增年周期和月末最后一天周期

DataWorks周期任务调度现添加了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度,目前DataWorks调度周期支持包括分钟小时

查看文档:https://help.aliyun.com/document_detail/137549.html


4、新增FTP Check节点,支持定时检测指定的“FTP标Done文件”

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

查看详情:https://help.aliyun.com/document_detail/215542.html


5、新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力

DataWorks提供通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群,以及通过JDBC连接串模式绑定ClickHouse数据源。提供通过数据集成支持对ClickHouse的读写数据的能力。提供ClickHouse SQL节点,通过独享调度资源组进行数据开发,任务调度,任务运维,临时查询等ETL操作和管理能力。

配置ClickHouse数据源:https://help.aliyun.com/document_detail/251479.html

绑定ClickHouse计算引擎:https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

创建并使用ClickHouse SQL节点:https://help.aliyun.com/document_detail/216828.html


【产品文档更新】


新版安全中心上线

新增安全中心API-GetPermissionApplyOrderDetail

实时同步数据至Kafka

Cassandra Reader

Cassandra Writer

成员及角色管理

导出开源引擎任务

导入开源引擎任务

引擎运维

查看周期任务DAG图(周期任务)

查看周期任务DAG图(周期实例)

查看周期任务DAG图(补数据实例)

【往期系列】


DataWorks 产品月刊合集


更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】,为您提供最新的产品直播、产品活动及技术支持点击查看

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
数据采集 分布式计算 DataWorks
阿里云DataWorks荣获DAMA中国数据治理优秀产品奖
2022年12月3日,2022 DAMA中国数据管理峰会(线上部分)成功举行,汇聚多位世界级数据大咖分享,阿里云DataWorks凭借全链路数据治理产品体系,丰富的行业客户最佳实践案例,获得“DAMA中国数据治理优秀产品奖”。
1451 0
|
存储 JSON 分布式计算
一体化大数据智能计算平台 ODPS 产品年度发布
阿里云ODPS全新升级,存储、调度、元数据一体化融合 ,从 Processing 升级为 Platform,即 Open Data Platform and Service。本次峰会,同步发布了新的产品能力,即MaxCompute 引擎新功能发布及Hologres 引擎新功能发布。
一体化大数据智能计算平台 ODPS 产品年度发布
|
存储 数据采集 分布式计算
1.5分钟 DataWorks 产品入门|学习笔记
快速学习1.5分钟 DataWorks 产品入门
253 0
1.5分钟 DataWorks 产品入门|学习笔记
|
数据采集 SQL 分布式计算
DataWorks 2021-12 产品月刊
本月DataWorks产品月刊为您带来 【产品活动】 1. 首月特惠!DataWorks专业版原价5000元现首月特惠仅需199元>> 立即前往>> 2. 首月特惠!独享数据集成/独享调度资源组首月5折>> 立即前往>>
454 0
|
SQL 存储 运维
DataWorks 2021-11 产品月刊
1、数据开发新增资源组编排功能 2、数据集成HDFS Reader和HDFS Writer增加向导开发模式。
855 0
|
SQL 数据采集 存储
DataWorks 2021-09 产品月刊
本月DataWorks产品月刊为您带来:1、数据治理中心全新发布。2、数据服务API资产全面纳入数据地图管理范畴。3、DataStudio支持用户通过扩展程序对页面功能进行卡点
1011 0
|
SQL 消息中间件 运维
DataWorks 2021-08 产品月刊(含用户体验季刊!)
全新上线DataWorks用户体验季刊! 过去几个月我们通过问卷了解到大家对DataWorks体验的满意情况,收集了一些问题。因此,DataWorks产品研发团队针对用户体验问题做了产品优化,并以页面形式向您集中展现!您的声音我们始终关心!(季刊页面拉倒底部有反馈入口,欢迎大家踊跃和我们沟通!)
952 0
DataWorks 2021-08 产品月刊(含用户体验季刊!)
|
数据采集 运维 DataWorks
一站式大数据开发治理DataWorks使用宝典|阿里云产品内容精选(十九)
本文选自《一站式大数据开发治理DataWorks使用宝典》系列
|
数据采集 DataWorks 负载均衡
DataWorks 2021-07 产品月刊
本月DataWorks产品月刊为您带来 产品活动: 1.首月特惠!DataWorks专业版首月仅需199元,省4801元;独享数据集成/调度资源组首月5折 2.「数据地图」开放用户体验问卷啦,快来参与吧 产品功能更新: DataWorks数据治理模块新增审批中心,可自定义审批流程 独享数据服务资源组上线杭州region DataWorks迁移助手8.1日正式商业化 DataWorks支持DLF元数据采集 DataWorks支持任务下发EMR gateway节点
778 0
DataWorks 2021-07 产品月刊
|
SQL 运维 分布式计算
DataWorks 2021-06 产品月刊
本月DataWorks产品月刊为您带来 产品活动: 1.首月特惠!DataWorks专业版原价5000元现首月特惠仅需199元;独享数据集成/调度资源组首月5折 产品功能更新: 1.数据集成首页改版 2.DataWorks支持EMR实时任务开发运维 3.EMR数据开发任务一键迁移DataWorks 4.DataWorks安全模式绑定EMR集群支持LDAP认证 5.数据服务支持MaxCompute数据源封装API 6.DataWorks新增报警联系人中心 7.运维中心新增资源运维,支持独享资源组水位监控
885 0
DataWorks 2021-06 产品月刊

相关产品

  • 大数据开发治理平台 DataWorks