目前仅支持整库实时同步MySQL、PolarDB、SQLServer类型的数据库至Elasticsearch。整库实时同步解决方案仅支持使用独享资源组。
https://help.aliyun.com/document_detail/201750.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks提供了一种称为整库实时同步的解决方案,可以帮助您将一个源数据库的表实时同步到另一个目标数据库中。
通过整库实时同步,您可以将源数据库中的所有表及其数据实时复制到目标数据库中。这种解决方案提供了灵活的配置选项,使您可以自定义实时同步过程,包括同步频率、过滤规则以及触发实时同步的事件等等。
如果您希望将源数据库中的所有表及其数据实时同步到目标数据库中,那么DataWorks的整库实时同步解决方案是一个很好的选择。
完成数据源、网络、资源的准备配置后,您可创建实时同步节点,同步数据至MaxCompute。本文为您介绍如何创建数据实时同步任务,并在创建完成后查看任务运行情况。
前提条件
已完成数据源配置。您需要在数据集成同步任务配置前,配置好您需要同步的源端和目标端数据库,以便在同步任务配置过程中,可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见实时同步支持的数据源。
说明
数据源相关能力介绍详情请参见:数据源概述。
已购买合适规格的独享数据集成资源组。详情请参见:新增和使用独享数据集成资源组。
独享数据集成资源组与数据源网络已打通。详情请参见:配置资源组与网络连通。
数据源环境已准备完成:您可以基于您需要进行的同步配置,在同步任务执行前,授予数据源配置的账号在数据库进行相应操作的权限。详情请参见:数据库环境准备概述。
使用限制
实时数据同步任务仅支持使用独享数据集成资源组。
实时同步节点目前仅支持同步PolarDB、Oracle、MySQL数据源至MaxCompute。
实时数据同步任务暂不支持同步没有主键的表。
注意事项
当实时同步至MaxCompute默认数据源(一般为odps_first)时,默认使用临时AK进行同步,临时AK超过7天会自动过期,同时,将导致任务运行失败。平台检测到临时AK导致任务失败时会自动重启任务,如果任务配置了该类型的监控报警,您将会收到报警信息。
数据集成使用MaxCompute引擎同步数据通道进行数据上传和下载(同步数据通道SLA详情请参见数据传输服务(上传)场景与工具),请根据MaxCompute引擎同步数据通道SLA评估数据同步业务技术选型。
DataWorks 提供了一种称为整库实时同步的解决方案,可以帮助您将一个源数据库的表实时同步到另一个目标数据库中。整库实时同步可以通过以下几个步骤实现:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。