《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——一、数据同步

简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(下)——一、数据同步

1. ADB PG DTS同步链路

 

1) DTS

 

ADB PG数据同步可以使用阿里云数据同步工具DTS,同步数据源来自上游数据库系统,可以是RDS MySQL、RDS PG等关系型数据库,ADB PG作为数据仓库是目标数据库。

DTS一般是完成订阅、捕捉全量和增量的数据,转化为ADB PG识别的语法,并将这些数据插入到数据库中。

 

2) ADB PG使用同步链路的目标场景

 

数据在线迁移、实时同步、异地灾备(读写分离、双活)。

 

3) ADB PG数据仓库使用限制

 

每个表列数最多1600列

每个表行数最多2^48行

部分支持修改字段类型:如int->bigint、bigint->decimal

非法值不支持写入(如2020-05-00 00:00:00、100:00:00等)

不支持的类型同步数据不可使用(如GEOMETRY、POINT、LINESTRING、POLYGON等类型)

列/表/数据库名称最长63个字符

不支持unsigned类型

 

注意

写入ADB PG已有的重复数,内部会执行delete&insert,内部会执行耗时较长。

热点行更新性能不佳。

内部使用copy/insert语法执行写入,极限性能受限于master节点配置。

 

参考

ADB PG内核限制

https://help.aliyun.com/document detail/157891.html

DTS使用限制

https://help.aliyun.com/document_detail/149450.html

 

2. 数据同步监控-用户侧

 

DTS数据同步的监控可以在控制台查看,ADB PG数据同步监控可以登录ADB PG控制台的监控信息页面查看。

 

image.png

 

监控信息包括协调节点连接数、计算节点连接数、实例总存储水位、实例存储总使用量、计算节点数、临时尾盘文件大小,在协调节点连接数图表中可以看到连接数的急剧上升,因为有大量数据落库导致。

 

通过此页面可以监控DTS链路,重点关注CPU、CPU使用率、IO吞吐率。在单独通过DTS数据同步的场景下,master节点连接数、CPU使用率都是相对恒定的,如果某天master节点连接数、CPU使用率发生比较大的波动,需要检查下数据链路是否工作正常。

 

3. 链路典型问题排查

 

场景:热点行更新场景

现象:没有达到限流,RT不高,节点负载也不高,但是速度就是不高。

 

排查方式

执行任务诊断,非常严重的热点行更新是会被诊断到的

咨询客户源库是否有热点行更新的情况

此问题排查较复杂,可以找DTS值班同学协助排查

 

优化方式

目前DTS没有很好的处理方式,一旦确认源库有热点行更新情况,并且关注整体性能,建议客户把热点行更新的表从同步对象中去掉。

 

相关实践学习
使用CLup和iSCSI共享盘快速体验PolarDB for PostgtreSQL
在Clup云管控平台中快速体验创建与管理在iSCSI共享盘上的PolarDB for PostgtreSQL。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
6天前
|
应用服务中间件 PHP 开发工具
Nginx解析环境搭建及实战
Nginx解析环境搭建及实战
11 0
|
27天前
|
存储 JSON 关系型数据库
《Postgresql实战》笔记(二)
《Postgresql实战》笔记(二)
24 0
|
30天前
|
数据采集 开发者 Python
Python爬虫实战:利用Beautiful Soup解析网页数据
在网络爬虫的开发过程中,数据解析是至关重要的一环。本文将介绍如何利用Python的Beautiful Soup库来解析网页数据,包括解析HTML结构、提取目标信息和处理特殊情况,帮助开发者更好地实现爬虫功能。
|
24天前
|
消息中间件 Cloud Native 应用服务中间件
阿里云云原生工程师认证(Alibaba Cloud Certified Associate,ACA)考试大纲
介绍阿里云云原生工程师认证(Alibaba Cloud Certified Associate,ACA)所需具备的知识及学习方法等。
199 1
|
3天前
|
设计模式 测试技术 Go
Go 项目必备:Wire 依赖注入工具的深度解析与实战应用
在现代软件开发中,依赖注入(Dependency Injection,简称 DI)已经成为一种广泛采用的设计模式。它的核心思想是通过外部定义的方式,将组件之间的依赖关系解耦,从而提高代码的可维护性、可扩展性和可测试性。然而,随着项目规模的增长,手动管理复杂的依赖关系变得日益困难。这时,依赖注入代码生成工具就显得尤为重要。在众多工具中,Wire 以其简洁、强大和易用性脱颖而出,成为 Go 语言项目中的宠儿。本文将带你深入了解 Wire 的安装、基本使用、核心概念以及高级用法,并通过一个实际的 web 博客项目示例,展示如何利用 Wire 简化依赖注入的实现。准备好了吗?让我们开始这场代码解耦的奇
|
6天前
|
数据采集 XML 数据处理
Python爬虫实战:利用BeautifulSoup解析网页数据
本文将介绍如何利用Python中的BeautifulSoup库来解析网页数据,帮助读者更好地开发爬虫程序,实现自动化数据采集与处理。
|
19天前
|
Cloud Native 关系型数据库 分布式数据库
电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》
电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》 电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》
21 6
|
19天前
|
Cloud Native 关系型数据库 分布式数据库
电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》
电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》
18 5
电子书阅读分享《PolarDB开发者大会:PolarDB云原生弹性演进》
|
23天前
|
SQL 监控 关系型数据库
MySQL Binlog深度解析:进阶应用与实战技巧【进阶应用】
MySQL Binlog深度解析:进阶应用与实战技巧【进阶应用】
34 0
|
24天前
|
云安全 架构师 安全
阿里云云计算架构师ACE认证(Alibaba Cloud Certified Expert - Cloud Architect)考试大纲
介绍阿里云云计算架构师ACE认证(Alibaba Cloud Certified Expert - Cloud Architect)所需具备的知识及学习方法等。
157 2

相关产品

  • ACA认证