要申请从PolarDB PostgreSQL版(简称PolarDB PG)到AnalyticDB MySQL湖仓版(简称ADB MySQL)的数据同步链路,您需要按照以下步骤操作。此过程基于阿里云数据传输服务(DTS)的功能和配置要求。
1. 确认前提条件
在开始配置之前,请确保满足以下前提条件: - 源库(PolarDB PG): - 已创建并正常运行的PolarDB PostgreSQL集群。 - 开启Binlog日志功能,并将loose_polar_log_bin
参数设置为on
,以支持增量数据同步。 - 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能导致目标库中出现重复数据。 - 目标库(ADB MySQL): - 已创建并正常运行的AnalyticDB MySQL湖仓版实例。 - 目标库的存储空间需大于源库已占用的存储空间。 - 网络连通性: - 源库和目标库之间需具备网络连通性,可以通过VPC、专线或公网等方式实现连接。 - 权限要求: - 源库账号需具备待同步对象的读权限。 - 目标库账号需具备写入权限。
2. 登录DTS控制台
- 使用阿里云账号登录DTS控制台。
- 在顶部菜单栏中选择目标地域(即同步任务所属的地域)。
3. 创建同步任务
- 在DTS控制台左侧导航栏中,选择数据传输(DTS) > 数据同步。
- 单击页面右上角的创建任务按钮,进入任务配置页面。
4. 配置源库和目标库信息
- 任务名称:
- 源库信息:
- 数据库类型:选择PolarDB for PostgreSQL。
- 接入方式:选择云实例。
- 实例地区:选择源PolarDB PG实例所在的地域。
- 实例ID:选择具体的PolarDB PG实例ID。
- 数据库账号和密码:填写具有读权限的数据库账号及密码。
- 目标库信息:
- 数据库类型:选择AnalyticDB MySQL。
- 接入方式:选择云实例。
- 实例地区:选择目标ADB MySQL实例所在的地域。
- 实例ID:选择具体的ADB MySQL实例ID。
- 数据库账号和密码:填写具有写入权限的数据库账号及密码。
- 单击测试连接以进行下一步,确保源库和目标库的连接成功。
5. 配置同步对象
- 同步类型:
- 根据需求选择同步类型,包括:
- 库表结构同步:同步表结构。
- 全量数据同步:同步源库中的现有数据。
- 增量数据同步:同步源库中的新增、修改和删除操作。
- 目标已存在表的处理模式:
- 选择同步对象:
- 在左侧列表中选择需要同步的库或表,并将其移动至右侧的“已选择对象”框中。
- 可选:对同步对象在目标库中的名称进行映射或更改。
6. 高级配置
- 调度任务的专属集群(可选):
- 重试时间:
- 设置源库或目标库无法连接时的重试时间,默认为720分钟(12小时)。
- 同步速率限制:
- 可选:限制全量和增量同步的速率,避免对源库和目标库造成过大压力。
- ETL功能(可选):
- 如果需要对同步数据进行清洗或转换,可以配置ETL功能。
- 监控告警:
7. 保存任务并进行预检查
- 单击页面下方的下一步保存任务并预检查。
- 系统会自动进行预检查,确保配置无误。
- 如果预检查失败,请根据提示修复问题后重新进行预检查。
- 如果预检查产生警告,您可以选择忽略告警项并继续,但需注意可能带来的风险。
8. 购买并启动任务
- 预检查通过后,单击下一步购买。
- 在购买页面,选择计费方式(预付费或后付费)、链路规格和订购时长。
- 链路规格:根据业务需求选择合适的同步规格,不同规格会影响同步速率。
- 阅读并勾选《数据传输(按量付费)服务条款》。
- 单击购买并启动,并在弹出的确认对话框中单击确定。
9. 查看同步任务状态
- 返回DTS控制台的数据同步页面,查看同步任务的状态。
- 等待同步任务完成初始化,直至状态显示为同步中。
重要注意事项
- 数据一致性:在同步期间,避免对源库的同步对象执行DDL操作,以免导致同步任务失败。
- 费用说明:
- 库表结构同步和全量数据同步不收费。
- 增量数据同步收费,具体费用请参考官方计费文档。
- 双向同步限制:如果需要配置双向同步,请确保正向和反向同步任务的目标对象互不冲突,并遵循相关限制。
通过以上步骤,您可以成功申请并配置从PolarDB PG到ADB MySQL的数据同步链路。