DataWorks熟能生巧系列直播第五期:数据集成批量生成同步任务

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
简介: 本文介绍了数据集成的整库迁移,批量上云和分库分表的操作,并进行了实操演示,对各种规则进行了解释,提出了需要注意的问题和解决方案。

分享人:DataWorks技术支持团队


我们在开发者社区学习路线里有发布一个DataWorks的学习路线,里面包含了入门讲解和熟能生巧系列的直播内容,大家可以去学习一下,需要主账号登陆学习哦:https://developer.aliyun.com/learning/course/81

本期视频地址:https://developer.aliyun.com/learning/course/81/detail/1242


数据集成的整库迁移、批量上云和分库分表功能,能够批量生成同步任务。

假设数据库内有100张表,原本可能需要配置100次数据同步任务,但通过整库迁移或批量上云可以一次性完成配置。


添加数据源

配置上面三种任务之前,要先添加数据源。

image.png

数据集成页面数据源菜单里有数据源配置页面的入口,点进去后可以配置数据源。

我们到数据源管理界面,这里可以选择添加单个的数据源,也可以批量添加数据源。我们选择添加单个的数据源,选择MySQL,再选择阿里云实例模式。

image.png


image.png


补充完信息之后,进行连通性测试,测试通过之后在配置整库迁移和批量上云的时候就能选择到相应的数据源。建议开发环境和生产环境都要添加数据源,否则看不到整库迁移的路口。

image.png


整库迁移

整库迁移的列表里我们点击对应数据源的整库迁移入口,一般在开发环境。示例以MySQL数据源同步到MaxCompute为例。

image.png

然后可以选择目标MaxCompute数据源以及同步任务的独享数据集成资源组进行数据同步。


批量上云

点击左侧批量上云菜单可以进入批量上云页,点击右上角“新建批量快速上云”来配置一个批量上云任务。

首先我们选择来源侧和目标端的数据源以及任务运行的资源组:

image.png


然后我们可以配置同步任务的一些转换规则。

image.png

其中表名转换规则和目标表名规则会影响目标端的表名,图片内配置效果如下:

目标表分区字段规则:按bizdate日期分区

表名转换规则:正则匹配,给目标表添加ods_$1前缀

字段名转换规则:pv字段改成pv_test

字段类型转换规则:int改成string

目标表新增字段规则:新增一个hello字段,string类型

目标表字段赋值规则:给hello字段赋值“ninhao”

数据过滤规则:pv要大于1

目标表明规则:目标表名为 来源表名+下划线+来源表类型(比如MySQL)


配置完规则后我们选择需要同步的表:

image.png


然后提交任务即可


分库分表

分库分表需要需要满足一些条件:

image.png


以上就是本次“数据集成批量生成同步任务”讲解的全部内容,有问题需要解答的同学可以扫码加一下我们的钉钉大群,群里有直播回放可以观看,技术支持的同学们也会回答大家的问题。

感谢大家的关注!

DataWorks部门主群二维码.JPG

















相关文章
|
6天前
|
DataWorks
|
9天前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本次分享的主题是DataWorks数据集成同步至Hologres能力,由计算平台的产品经理喆别(王喆)分享。介绍DataWorks将数据集成并同步到Hologres的能力。DataWorks数据集成是一款低成本、高效率、全场景覆盖的产品。当我们面向数据库级别,向Hologres进行同步时,能够实现简单且快速的同步设置。目前仅需配置一个任务,就能迅速地将一个数据库实例内的所有库表一并传输到Hologres中。
50 12
|
21天前
|
SQL 分布式计算 DataWorks
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?
如何让DataWorks调度依赖一个非DataWorks的任务结点,如数据上传任务?创建一个表的空分区,然后通过DataWorks去检查这个分区。
49 7
|
3月前
|
数据采集 DataWorks 数据管理
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第10天】随着大数据技术的发展,企业对数据处理的需求日益增长。阿里云推出的DataWorks是一款强大的数据集成和管理平台,提供从数据采集、清洗、加工到应用的一站式解决方案。本文通过电商平台案例,详细介绍了DataWorks的核心功能和优势,展示了如何高效处理大规模数据,帮助企业挖掘数据价值。
166 1
|
12天前
|
DataWorks 监控 数据建模
DataWorks产品体验评测
DataWorks产品体验评测
|
8天前
|
分布式计算 DataWorks 搜索推荐
DataWorks 产品评测与最佳实践探索!
DataWorks 是阿里巴巴推出的一站式智能大数据开发治理平台,内置15年实践经验,集成多种大数据与AI服务。本文通过实际使用角度,探讨其优势、潜力及改进建议。评测涵盖用户画像分析、数据治理、功能表现等方面,适合数字化转型企业参考。
20 1
|
15天前
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
82 1
|
27天前
|
SQL DataWorks 大数据
DataWorks产品体验测评
一文带你了解DataWorks大数据开发治理平台的优与劣
164 11
|
1月前
|
数据采集 人工智能 DataWorks
DataWorks产品最佳实践测评
DataWorks产品最佳实践测评
|
1月前
|
SQL DataWorks 搜索推荐
DataWorks产品评测与最佳实践体验报告
DataWorks是阿里巴巴云推出的一款高效数据处理平台,通过内置的数据集成工具和ETL功能,实现了多源数据的自动化处理与分析。本文介绍了DataWorks在用户画像分析中的应用实践,展示了其如何帮助企业高效管理数据资源,支持决策制定及营销优化。同时,文章还评测了DataWorks的产品体验,包括开通流程、功能满足度等方面,并与其它数据开发平台进行了比较,突出了DataWorks在易用性、性能和生态完整性上的优势。最后,对Data Studio新版本中的Notebook环境进行了初步探索,强调了其在提升开发效率方面的价值。
89 16

热门文章

最新文章

相关产品

  • 大数据开发治理平台 DataWorks