DataWorks 2021-05 产品月刊

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 产品活动:1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;产品功能更新:DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;......

本月DataWorks产品月刊为您带来

产品活动:

1.数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧

2.首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元;独享数据集成/调度资源组首月5折


产品功能更新:

  1. DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能;
  2. 开放消息服务(Open Message)开启公测,支持订阅DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统的深度集成;
  3. 任务调度新增年周期和月末最后一天周期,可实现按年、按季度、按指定月最后一天的周期调度;
  4. 新增FTP Check节点,支持定时检测指定的“FTP标Done文件”,实现DataWorks与外部系统的调度信号打通;
  5. 新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力;
  6. 全新改版了代码搜索功能,支持更实时、更精准和更灵活的代码全文搜索能力;


【产品活动】

1. 数据集成开放用户体验调研问卷啦!赶紧开启吐槽模式吧>>

立即前往>>

2. 首月特惠!DataWorks专业版原价5000元现飞天会员618特惠仅需99元>>

立即前往>>

3. 首月特惠!独享数据集成/独享调度资源组首月5折>>

立即前往>>


【产品功能更新】

1、DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的能力

支持MySQL、OceanBase、PolarDB等数据库实时同步至AnalyticDB MySQL 3.0,可以在一个任务中一次同步多个表的实时信息,能够自动先全量同步,然后启动实时增量,实现数据不间断同步。其中实时同步时已经自动支持添加列的DDL同步,即源端增加列时目标端的表也会增加相应列。

查看详情:https://help.aliyun.com/document_detail/229552.htm


2、开放消息服务(Open Message)开启公测

DataWorks提供开放消息能力,您可以在DataWorks开放平台开启消息订阅功能。仅支持DataWorks企业版用户参与公测活动,企业版用户可以直接参与公测并试用开放消息能力,无需申请和支付相关费用。您可以通过开放消息获取DataWorks中的元数据及任务变更事件,可实现DataWorks与您的自有系统深度集成。

查看详情:https://help.aliyun.com/document_detail/215365.html


3、DataWorks任务调度新增年周期和月末最后一天周期

DataWorks周期任务调度现添加了年周期调度和月末最后一天调度,可实现按年、季度、指定月最后一天的周期调度,目前DataWorks调度周期支持包括分钟小时

查看文档:https://help.aliyun.com/document_detail/137549.html


4、新增FTP Check节点,支持定时检测指定的“FTP标Done文件”

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

查看详情:https://help.aliyun.com/document_detail/215542.html


5、新增ClickHouse引擎的支持,提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力

DataWorks提供通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群,以及通过JDBC连接串模式绑定ClickHouse数据源。提供通过数据集成支持对ClickHouse的读写数据的能力。提供ClickHouse SQL节点,通过独享调度资源组进行数据开发,任务调度,任务运维,临时查询等ETL操作和管理能力。

配置ClickHouse数据源:https://help.aliyun.com/document_detail/251479.html

绑定ClickHouse计算引擎:https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

创建并使用ClickHouse SQL节点:https://help.aliyun.com/document_detail/216828.html


【产品文档更新】


新版安全中心上线

新增安全中心API-GetPermissionApplyOrderDetail

实时同步数据至Kafka

Cassandra Reader

Cassandra Writer

成员及角色管理

导出开源引擎任务

导入开源引擎任务

引擎运维

查看周期任务DAG图(周期任务)

查看周期任务DAG图(周期实例)

查看周期任务DAG图(补数据实例)

【往期系列】


DataWorks 产品月刊合集


更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】,为您提供最新的产品直播、产品活动及技术支持点击查看

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
22天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之DataWorks 数据集成中的数据源管理和管理空间的数据源之间的关系是怎样的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
47 0
|
22天前
|
运维 DataWorks 关系型数据库
DataWorks产品使用合集之DataWorks中如何提升运维中心实时同步任务的运行速度
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
56 1
|
22天前
|
SQL JSON 分布式计算
DataWorks产品使用合集之DataWorks一键maxcompute数据同步的操作步骤是什么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
31 0
|
22天前
|
SQL DataWorks 测试技术
DataWorks产品使用合集之DataWorks如何进行业务流程克隆
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 0
|
22天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,如何进行批量复制操作来将一个业务流程复制到另一个业务流程
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0
|
22天前
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之在 DataWorks 中,使用Oracle作为数据源进行数据映射和查询,如何更改数据源为MaxCompute或其他类型
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
36 1
|
22天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之在 DataWorks 中,如何查看自己已有的权限,申请和交还权限
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
28 0
|
22天前
|
DataWorks 关系型数据库 MySQL
DataWorks产品使用合集之在DataWorks中,如何通过PolarDB for MySQL来查看binlog日志
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
40 1
|
22天前
|
分布式计算 DataWorks NoSQL
DataWorks产品使用合集之DataWorks 集成工具是否支持对 MongoDB 的单字段更新操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
45 0
|
22天前
|
分布式计算 运维 DataWorks
DataWorks产品使用合集之DataWorks中可以使用什么来获取某个特定表的特定分区的Instance ID
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 0

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks