DataWorks实时数据同步节点的同步规则有哪些?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前支持的数据源及数据转换方式如下:输入数据源:MySQL Binlog、DataHub、LogHub、Kafka、PolarDB、SQL Server。输出数据源:MaxCompute、Hologres、Elasticsearch、DataHub、Kafka。数据转换方式:数据过滤、字符串替换和数据脱敏。实时同步节点的同步规则限制如下:仅支持同步单个或多个表数据至目标单表,不支持同步单个或多个表数据至多个表。如果您需要同步数据至多个表,则需要创建多个实时同步任务。仅MySQL Binlog和SQL Server输入数据源支持同步多个表数据至目标单表,并且选择同步的多个输入源表的类型及Schema必须相同。例如,同步的多个表均为MySQL Binlog表。——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks为你提供的实时数据同步功能,方便使用单表或整库同步方式,将源端数据库中部分或全部表的数据变化实时同步至目标数据库中,实现目标库实时保持和源库的数据对应。DataWorks实时同步不同功能下支持的规则不同,比如实时同步任务配置 实时同步任务 配置整库增量数据实时同步、配置单表增量数据实时同步详细配置规则可以参考文档:https://help.aliyun.com/document_detail/438956.html
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。