1.字段映射关系与赋值
·支持多种字段映射方式:向导模式默认同名映射、脚本模式默认脚标映射;向导模式支持同行映射;并支持自定义所有字段或部分字段的字段关系。
·目标表字段赋值:支持赋值常量,赋值变量(支持使用调度参数,关系型数据库支持使用函数),支持编辑源端字段,例如通过 max(id)控制获取到的字段返回值。
2.作业速率上限控制
·支持通过并发控制来限制数据集成读取和写入数据库的最大并发数。
·支持通过限流控制来保护数据库读写压力。在不限流的情况下,任务将在所配置的并发数的限制基础上,提供现有硬件环境下最大的传输性能。
3.分布式模式执行任务
部分数据源支持分布式模式执行任务,分布式执行模式可以将您的任务切片分散到多台执行节点上并发执行,进而做到同步速度随执行集群规模做水平扩展,突破单机执行瓶颈。如果您对于同步性能有比较高的诉求可以使用分布式模式。 另外分布式模式也可以使用机器的碎片资源,对资源利用率友好。
4.脏数据个数控制及定义其对任务影响
数据集成默认允许脏数据产生,支持您对同步过程产出的脏数据个数设置阈值,定义其影响,即当脏数据产生或产生多少条时,任务失败退出。
以上内容摘自《全链路数据治理-全域数据集成》电子书,点击https://developer.aliyun.com/ebook/download/7707可下载完整版
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。