【视频】云原生数据仓库 AnalyticDB PG 解析与实践(下)|学习笔记(四)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 快速学习【视频】云原生数据仓库 AnalyticDB PG 解析与实践(下)

开发者学堂课程【数据仓库 ACP 认证课程【视频】云原生数据仓库 AnalyticDB PG 解析与实践(下)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/928/detail/14627


【视频】云原生数据仓库 AnalyticDB PG 解析与实践(下)


二十一、SQL 性能调优:数据倾斜的原因和解决

建表过程指定分布键或分布规律:

CREATE TABLE table_ name

( ...... )

[ DISTRIBUTED BY (column. name, [...])  (哈希分布方式)

| DISTRIBUTED RANDOMLY        (随机分布方式)

| DISTRIBUTED REPLICATED ]      (复制分布方式)

;

修改分布键或分布规律:

ALTER TABLE [IF EXISTS ] [ONLY] name SET

WITH (REORGANIZE=true/false)

| DISTRIBUTED BY (column name, [...])

| DISTRIBUTED RANDOMLY

| DISTRIBUTED REPLICATED

;

 image.png注意:

修改分布键或分布规律大多数情况都将会进行数据迁移,数据量过大的表该操作会相对较久并且会锁表,无法查询。

REORGANIZE=false仅在修改前后一致或修改为随机分布时才会不进行数据重分布。

分布策略选择规则:

●小表(总行数低于1万,根据实际情况可以进行调整)优先选择复制表分布策略(DISTRIBUTEDREPLACATED)

●大表优先选择参与Join/GroupBy计算的字段作为分布键Hash分布。这时需要注意,使用哈希分布如果使用在一个分布键上的分布均匀,那它对整个的系统性能是最有利的,如果说无法保障其分布均匀,产生较大的数据倾斜,就不能使用哈希分布。

●若没有数据分布均匀的字段作为分布键使用,采用随机分布策略(DISTRIBUTED RANDOMLY)

 

二十二、演示1:通过 DTS 做数据同步

前置条件:

1.提前存在1个RDS MySQL实例和一个ADB PG实例;

2. MySQL实例里面创建好表,里面插入一定量的数据;

3.开通DMS(为了演示方便)

操作步骤:

1.配置DTS数据同步任务,将表从RDS同步到ADB PG ;

2.启动同步任务;

3.通过DMS观察全量同步结果;

4.在RDS源端继续删除一些数据;

5.通过DMS观察增量同步结果

在DMS数据管理服务里面,找到集成与开发(DTS),默认进入的是数据迁移,找到数据重复,铅以后同步是比较接近的,数据迁移是一次性把数据都迁移过去就结束了,数据同步是建立一个内容之后它会一直进行维护。
数据同步里面创建任务,数据库类型选择MySQL,注意实例地区,要先创建好数据库的账号,当源端和目标端都选择正确以后,需要测试一下,测试通过以后开始下一步操作。从左边选择源库的对象,如果目标案已经存在了这个表,选择清空目标端数据,当然也要根据具体的业务模式进行选择,其他默认操作就可以。

下一步配置库表字段,类型选择哈希分布表,下一步保存任务后台进行预检查,该需要花费一分钟的时间,到这不就表示,所有的检查工作已经做完了,如果要配置链路的话点击下一步购买。

image.png进入同步任务视图,首先进行任务初始化,进行实时刷新,同步的过程分为三个步骤,第一个是库表结构进行同步,第二个是全量同步,第三个是进行增量同步。

整个系统在搭建的初期把线路搭建好,后面监控它日常工作方式就不需要经常去创建任务链路。这时候目的库已经存在了一张表,执行一下就可以看到数据已经同步完成,与Mysal数据量是一样的。

 

二十三、演示2:增加监控报警规则

前置条件:

1.开通1个一个ADB PG实例;

操作步骤:

1.登陆实例控制台;

2.登陆云监控,关联监控资源;

3.设置报警规则

进入云监控控制台,里面显示是空的,是因为存储的两种方式有资源弹性和资源预留,里面显示的是资源预留的场景,点击小铃铛按钮,从这个入口进来的话它会自动关联当前的实例,自定义名称,对连接数进行设置,要根据具体的场景进行设置,通知对象云帐号报警联系人,云平台最后统一去设定,告警级别默认就可以,没有问题的话就点确认。

image.png可以查看报警历史,也可以再次进行规则修改。

 

二十四、演示3:排查解决数据倾斜

前置条件:

1.开通1个一个ADB PG实例;

2.某库里面存在若干的表,其中某表存在较严重的数据倾斜

操作步骤:

1.登陆实例控制台,从节点监控观察到存在数据倾斜;

2.登陆数据库,执行命令排查具体倾斜的表;

3.执行命令修改分布列,解决数据倾斜问题;

image.png找到实例监控的节点监控,可以看到存储使用量,存储使用量有四个节点,正常情况下,它们都在同一条水平线上,这时候发现黄色的线高于其他颜色的线,存储水位也是这种情况,这时候就存在了数据倾斜。

发现有数据清洗,现在以后就要去进行定位,查找一下倾斜情况。修改一下分布列,这个过程需要搬迁数据,所以在执行过程中这个表也是不可以读写的。

 

 

二十五、真题讲解

1.在AnalyticDB PostgreSQL版中,下面(  )场景不是DTS的设计目标。

A.异地灾备

B.异构数据库读写分离

C.停机迁移数据

D.异地多活

正确答案:C

分析:所有的迁移数据和同步数据,需要源端和目的端都是启动的,所以停机迁移数据不是DTS的设计目标。

2.在AnalyticDB PostgreSQL版中,DTS增量同步支持的操作包括(  )?

A. COPY

B. DELETE

C. ADD PARTITION

D. ALTER TABLE

E. ADD TABLE

正确答案:ABD

3.AnalyticDB PostgreSQL可以通过SQL诊断功能来检索某个时间段内执行耗时较长的查询,然后在查询属性中查看目标查询的耗时。以下属于查询CPU消耗较大的是(   ) ?

A.过滤条件没有下推到存储层

B. Join条件中带有过滤操作

C. Join时没有指定Join条件

D. Join条件中没有带有过滤操作

E.过滤条件下推到存储层

正确答案:ABC

4.在AnalyticDB PostgreSQL版中,在修改分布键时若没有指定REORGANIZE=fasle,会发生(   ) ?

A.表不发生重分布

B.表中被删除的数据仍然保留

C.表中被删除的列仍然保留

D.表在分布键没有发生变化或指定随机分布策略时不进行重分布

正确答案:ABC

5.在AnalyticDB PostgreSQL版中,用户连接实例发现业务作业跑的比较慢,同时业务查询SQL处于running的状态,这个可能是如下(   )原因引起的。

A.连接数超出限制

B. XLOG堆积太大

C.数据倾斜太大

D.任务排队堆积

正确答案:C

相关实践学习
AnalyticDB MySQL海量数据秒级分析体验
快速上手AnalyticDB MySQL,玩转SQL开发等功能!本教程介绍如何在AnalyticDB MySQL中,一键加载内置数据集,并基于自动生成的查询脚本,运行复杂查询语句,秒级生成查询结果。
阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
云原生数据仓库AnalyticDB MySQL版是一种支持高并发低延时查询的新一代云原生数据仓库,高度兼容MySQL协议以及SQL:92、SQL:99、SQL:2003标准,可以对海量数据进行即时的多维分析透视和业务探索,快速构建企业云上数据仓库。 了解产品 https://www.aliyun.com/product/ApsaraDB/ads
相关文章
|
2月前
|
运维 持续交付 云计算
深入解析云计算中的微服务架构:原理、优势与实践
深入解析云计算中的微服务架构:原理、优势与实践
106 3
|
8天前
|
人工智能 关系型数据库 MySQL
AnalyticDB MySQL版:云原生离在线一体化数据仓库支持实时业务决策
AnalyticDB MySQL版是阿里云推出的云原生离在线一体化数据仓库,支持实时业务决策。产品定位为兼具数据库应用性和大数据处理能力的数仓,适用于大规模数据分析场景。核心技术包括混合负载、异构加速、智能弹性与硬件优化及AI集成,支持流批一体架构和物化视图等功能,帮助用户实现高效、低成本的数据处理与分析。通过存算分离和智能调度,AnalyticDB MySQL可在复杂查询和突发流量下提供卓越性能,并结合AI技术提升数据价值挖掘能力。
39 16
|
23天前
|
DataWorks 关系型数据库 OLAP
云端问道5期实践教学-基于Hologres轻量实时的高性能OLAP分析
本文基于Hologres轻量实时的高性能OLAP分析实践,通过云起实验室进行实操。实验步骤包括创建VPC和交换机、开通Hologres实例、配置DataWorks、创建网关、设置数据源、创建实时同步任务等。最终实现MySQL数据实时同步到Hologres,并进行高效查询分析。实验手册详细指导每一步操作,确保顺利完成。
|
1月前
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
236 30
|
1月前
|
DataWorks 数据挖掘 大数据
方案实践测评 | DataWorks集成Hologres构建一站式高性能的OLAP数据分析
DataWorks在任务开发便捷性、任务运行速度、产品使用门槛等方面都表现出色。在数据处理场景方面仍有改进和扩展的空间,通过引入更多的智能技术、扩展数据源支持、优化任务调度和可视化功能以及提升团队协作效率,DataWorks将能够为企业提供更全面、更高效的数据处理解决方案。
|
1月前
|
存储 网络协议 编译器
【C语言】深入解析C语言结构体:定义、声明与高级应用实践
通过根据需求合理选择结构体定义和声明的放置位置,并灵活结合动态内存分配、内存优化和数据结构设计,可以显著提高代码的可维护性和运行效率。在实际开发中,建议遵循以下原则: - **模块化设计**:尽可能封装实现细节,减少模块间的耦合。 - **内存管理**:明确动态分配与释放的责任,防止资源泄漏。 - **优化顺序**:合理排列结构体成员以减少内存占用。
175 14
|
1月前
|
存储 算法
深入解析PID控制算法:从理论到实践的完整指南
前言 大家好,今天我们介绍一下经典控制理论中的PID控制算法,并着重讲解该算法的编码实现,为实现后续的倒立摆样例内容做准备。 众所周知,掌握了 PID ,就相当于进入了控制工程的大门,也能为更高阶的控制理论学习打下基础。 在很多的自动化控制领域。都会遇到PID控制算法,这种算法具有很好的控制模式,可以让系统具有很好的鲁棒性。 基本介绍 PID 深入理解 (1)闭环控制系统:讲解 PID 之前,我们先解释什么是闭环控制系统。简单说就是一个有输入有输出的系统,输入能影响输出。一般情况下,人们也称输出为反馈,因此也叫闭环反馈控制系统。比如恒温水池,输入就是加热功率,输出就是水温度;比如冷库,
413 15
|
2月前
|
弹性计算 持续交付 API
构建高效后端服务:微服务架构的深度解析与实践
在当今快速发展的软件行业中,构建高效、可扩展且易于维护的后端服务是每个技术团队的追求。本文将深入探讨微服务架构的核心概念、设计原则及其在实际项目中的应用,通过具体案例分析,展示如何利用微服务架构解决传统单体应用面临的挑战,提升系统的灵活性和响应速度。我们将从微服务的拆分策略、通信机制、服务发现、配置管理、以及持续集成/持续部署(CI/CD)等方面进行全面剖析,旨在为读者提供一套实用的微服务实施指南。
|
1月前
|
存储 缓存 Python
Python中的装饰器深度解析与实践
在Python的世界里,装饰器如同一位神秘的魔法师,它拥有改变函数行为的能力。本文将揭开装饰器的神秘面纱,通过直观的代码示例,引导你理解其工作原理,并掌握如何在实际项目中灵活运用这一强大的工具。从基础到进阶,我们将一起探索装饰器的魅力所在。
|
1月前
|
机器学习/深度学习 搜索推荐 API
淘宝/天猫按图搜索(拍立淘)API的深度解析与应用实践
在数字化时代,电商行业迅速发展,个性化、便捷性和高效性成为消费者新需求。淘宝/天猫推出的拍立淘API,利用图像识别技术,提供精准的购物搜索体验。本文深入探讨其原理、优势、应用场景及实现方法,助力电商技术和用户体验提升。

推荐镜像

更多