《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——三、产品相关概念(下)

本文涉及的产品
阿里云百炼推荐规格 ADB PostgreSQL,4核16GB 100GB 1个月
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——三、产品相关概念(下)

更多精彩内容,欢迎观看:《阿里云认证的解析与实战-数据仓库ACP认证》——云原生数据仓库AnalyticDB PostgreSQL版解析与实践(上)——三、产品相关概念(中):

https://developer.aliyun.com/article/1222911?spm=a2c6h.13148508.setting.17.75bf4f0e5XwXp0


1. 备份恢复

 

1) 技术原理介绍

 

基础备份+日志归档+一致性恢复点=集群恢复

 

基础备份:ADB PG集群物理基础备份,不会阻塞用户业务执行,因此,集群的基础备份期间,依然会产生大量WAL日志。

日志归档:集群恢复需要WAL持续归档。

一致性恢复点:通过在数据库的访问入口处(QD节点)独占获取事务提交锁,阻塞其他事务的提交,从而保证恢复点创建时刻的集群事务一致性。

集群恢复:通过一致性恢复点,恢复时,将集群各个节点对齐到事务一致的数据库状态。

 

2) 基础备份

 

image.png

 

基础备份又称全量备份,是对整个集群的所有primary节点(包括master,但不包括secondary master)进行全量数据备份。

公有云默认备份到OSS。

备份不阻塞业务,备份期间产生的增量WAL日志由归档操作保证备份到OSS。

备份期间,会自动重新备份异常的节点,如主备切换、连接异常等情况。

备份完成后,创建一致性恢复点,作为恢复时的恢复目标,以保证恢复集群一致性。

 

3) 日志备份

 

image.png

 

日志备份,又称增量备份。通过归档命令,对集群的所有primary节点上的WAL日志段进行备份

公有云默认备份到OSS。

 

4) 创建一致性恢复点

 

image.png 

 

请求创建一致性恢复点:

ü 独占申请两阶段提交锁,阻塞其他分布式事务提交。

ü Master节点创建恢复点。

ü Segment节点创建恢复点。

ü 释放两阶段提交锁。

ü 等待恢复点WAL日志归档。

 

通过分布式提交锁,确保恢复点创建时刻的集群事务一致性。

一致性恢复点在集群的每个primary节点新增一条WAL日志记录。

只有完成WAL日志归档的一致性恢复点,才能够用于分布式集群的归档恢复。

 

5) 恢复新实例

 

image.png

 

并行从OSS下载基本备份。

更新集群拓扑结构,并重启集群。

设置一致性恢复点作为恢复目标。

添加高可用备机,完成恢复。

持续下载并恢复归档的WAL日志。

 

2. 资源隔离

 

1) 资源管理简介

 

ADB PG实例资源包括:CPU、IO、内存、并发连接、查询计划。

 

常见资源问题

 并发连接数被占满,无法接受连接

 内存超过可用内存范围,进程被杀死

 IO带宽争用导致查询和写入性能下降

 

资源管理方案

 资源队列Resource Queue:使用最多的是并行度和CPU优先级的设置

 资源组Resource GroupCPU

 

2) 资源队列技术介绍

 

资源队列能够对数据库的CPU、内存等资源进行限制,对多租户资源限制、保障数据库稳定运行具有一定的作用

支持进行四种类型的资源限制:并发限制、CPU限制、内存限制和查询计划限制。

 

image.png

 

3) 创建资源队列示例

CREATE RESOURCE QUEUE name WITH (queue_attribute=value[ ... ])where queue attribute is
ACTIVE_STATEMENTS=integer
[MAX_COST=float [COST_OVERCOMMIT={TRUE|FALSE}]]
MINCOST=float]
[PRIORITY={MIN|LOW|MEDIUM|HIGH|MAX}]
[MEMORY_LIMIT='memory_units']

  

=# CREATE RESOURCE QUEUE adhoc WITH(ACTIVE STATEMENTS=3);创建带有并发限制的队列

创建带有内存限制的队列CREATE RESOURCE QUEUE myqueue WITH(ACIIVESTATEMENIS=20,MEMORY_LIMIT='2000MB');

=# CREATE RESOURCE QUEUE executive WITH (ACTIVE_STATEMENTS=3, PRIORITY=MAX); 设置优先级

 

4) 指派角色(用户)到资源队列

 

指派角色到优先级队列

ü 一旦创建了一个资源队列,用户必须把角色(用户)指派到它们合适的资源队列。

ü 如果没有显式地把角色指派资源队列,它们将进入默认资源队列pg_default。默认资源队列的活动语句限制是20,没有代价限制。

 

=# ALTER ROLE name RESOURCE QUEUE queuename;
=# CREATE ROLE name WITH LOGIN RESOURCE QUEUE queue_name;

 

从资源队列移除角色

 

如果用户想要从一个资源队列移除一个角色并且把它们放在默认队列中,可以将该角色的队列指派改成none。例如:

=#ALTER ROLE role name RESOURCE QUEUE none;

  

修改资源队列配置

 

ALTER RESOURCE QUEUE命令更改资源队列的限制。

=# AITER RESOURCE QUEUE adhoc WITH(ACIIVE_STATEMENTS=5);
=# ALTER RESOURCE QUEUE exec WITH (PRIORITY=MAX);

  

删除资源队列

 

DROP RESOURCE QUEUE命令可以删除资源队列。要删除一个资源队列,该队列不能有指派给它的角色,也不能有任何语句在其中等待。

 

5) 状态监控

 

查看队列中的语句和资源队列状态

 gp_toolkit.gp_resqueue_status视图允许管理员查看一个负载管理资源队列的状态和活动。

 语句:

SELECT*FROM gp_toolkit.gp_resqueue_status

  

查看资源队列统计信息

 如果想要持续跟踪资源队列的统计信息和性能,用户可以使用pg_stat_resqueues系统视图来查看在资源队列使用上收集的统计信息。

 语句:

SELECT * FROM pg_stat_resqueues

  

查看指派到资源队列的角色

 要查看指派给资源队列的角色,执行下列在pg_roles和gp_toolkit.gp_resqueue_status系统目录表。

 语句:

SELECT rolname, rsqname FROMpg_roles, gp_toolkit.gp_resqueue_status WHERE  pgroles.rolresqueue=gptoolkit.gp resqueue status.queueid

  

查看资源队列的等待查询

 用户可以看到所有资源队列的所有当前活跃的以及在等待的查询。

 语句:

SELECT * FROM gp_toolkit.gp_locks_on_resqueue WHERE  lorwaiting='true'

  

查看活动语句的优先权

 查看当前正在被执行的语句并且提供优先权、会话ID和其他信息。

 语句:

SELECT * FROM gp_toolkit.gp_resq_priority_statementSELECT * FROM gp_toolkit.gp_resq_priority_statement

  

重置活动语句的优先权

 gp_adjust_priority(session_id,statement_count,priority)调整当前正在被执行的语句的优先权。使用这个函数,超级用户可以提升或者降低任意查询的优先权。

 语句:

SELECT gp_adjust_priority(752,24905,'HIGH')

 

相关实践学习
阿里云百炼xAnalyticDB PostgreSQL构建AIGC应用
通过该实验体验在阿里云百炼中构建企业专属知识库构建及应用全流程。同时体验使用ADB-PG向量检索引擎提供专属安全存储,保障企业数据隐私安全。
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
4天前
|
人工智能 运维 API
【阿里云】操作系统控制台操作体验与性能评测全解析
操作系统控制台是现代云计算环境中进行系统管理和运维的重要工具,提供系统概览、诊断、观测、管理等功能,支持API、SDK、CLI等管理方式。通过创建角色、系统配置和组件安装等操作,用户可以高效管理云端资源,提升操作系统的使用效率和稳定性。尤其适合需要高效管理操作系统的用户及学习云计算、网络管理的学生。建议增强自定义功能、优化性能报告和完善文档支持,以进一步提升用户体验。
36 20
【阿里云】操作系统控制台操作体验与性能评测全解析
|
9天前
|
数据采集 JSON 数据可视化
JSON数据解析实战:从嵌套结构到结构化表格
在信息爆炸的时代,从杂乱数据中提取精准知识图谱是数据侦探的挑战。本文以Google Scholar为例,解析嵌套JSON数据,提取文献信息并转换为结构化表格,通过Graphviz制作技术关系图谱,揭示文献间的隐秘联系。代码涵盖代理IP、请求头设置、JSON解析及可视化,提供完整实战案例。
JSON数据解析实战:从嵌套结构到结构化表格
|
10天前
|
缓存 边缘计算 安全
阿里云CDN:全球加速网络的实践创新与价值解析
在数字化浪潮下,用户体验成为企业竞争力的核心。阿里云CDN凭借技术创新与全球化布局,提供高效稳定的加速解决方案。其三层优化体系(智能调度、缓存策略、安全防护)确保低延迟和高命中率,覆盖2800+全球节点,支持电商、教育、游戏等行业,帮助企业节省带宽成本,提升加载速度和安全性。未来,阿里云CDN将继续引领内容分发的行业标准。
55 7
|
16天前
|
云安全 人工智能 安全
阿里云网络安全体系解析:如何构建数字时代的"安全盾牌"
在数字经济时代,阿里云作为亚太地区最大的云服务提供商,构建了行业领先的网络安全体系。本文解析其网络安全架构的三大核心维度:基础架构安全、核心技术防护和安全管理体系。通过技术创新与体系化防御,阿里云为企业数字化转型提供坚实的安全屏障,确保数据安全与业务连续性。案例显示,某金融客户借助阿里云成功拦截3200万次攻击,降低运维成本40%,响应时间缩短至8分钟。未来,阿里云将继续推进自适应安全架构,助力企业提升核心竞争力。
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
企业级API集成方案:基于阿里云函数计算调用DeepSeek全解析
DeepSeek R1 是一款先进的大规模深度学习模型,专为自然语言处理等复杂任务设计。它具备高效的架构、强大的泛化能力和优化的参数管理,适用于文本生成、智能问答、代码生成和数据分析等领域。阿里云平台提供了高性能计算资源、合规与数据安全、低延迟覆盖和成本效益等优势,支持用户便捷部署和调用 DeepSeek R1 模型,确保快速响应和稳定服务。通过阿里云百炼模型服务,用户可以轻松体验满血版 DeepSeek R1,并享受免费试用和灵活的API调用方式。
160 12
|
1月前
|
存储 人工智能 并行计算
2025年阿里云弹性裸金属服务器架构解析与资源配置方案
🚀 核心特性与技术创新:提供100%物理机性能输出,支持NVIDIA A100/V100 GPU直通,无虚拟化层损耗。网络与存储优化,400万PPS吞吐量,ESSD云盘IOPS达100万,RDMA延迟<5μs。全球部署覆盖华北、华东、华南及海外节点,支持跨地域负载均衡。典型应用场景包括AI训练、科学计算等,支持分布式训练和并行计算框架。弹性裸金属服务器+OSS存储+高速网络综合部署,满足高性能计算需求。
|
24天前
|
存储 弹性计算 人工智能
阿里云发票申请图文教程及常见问题解析
在购买完阿里云服务器或者其他云产品之后,如何申请发票成为了许多用户关注的焦点。尤其是对于初次购买阿里云服务器的用户来说,发票申请流程可能并不熟悉。本文将为大家详细介绍阿里云服务器购买之后如何申请发票,以及申请过程中可能遇到的常见问题,帮助大家轻松完成发票申请。
|
1月前
|
弹性计算 运维 网络安全
阿里云轻量应用服务器产品解析与搭建个人博客网站教程参考
轻量应用服务器(Simple Application Server)作为阿里云面向单机应用场景推出的云服务器产品,以其一键部署、一站式管理、高性价比等特性,深受个人开发者、中小企业及入门级用户的喜爱。本文将全面解析阿里云轻量应用服务器的产品优势、应用场景、使用须知,以及使用轻量应用服务器搭建个人博客网站的详细教程,帮助用户更好地了解和使用这一产品。
|
2月前
|
XML Java 开发者
Spring底层架构核心概念解析
理解 Spring 框架的核心概念对于开发和维护 Spring 应用程序至关重要。IOC 和 AOP 是其两个关键特性,通过依赖注入和面向切面编程实现了高效的模块化和松耦合设计。Spring 容器管理着 Beans 的生命周期和配置,而核心模块为各种应用场景提供了丰富的功能支持。通过全面掌握这些核心概念,开发者可以更加高效地利用 Spring 框架开发企业级应用。
89 18
|
2月前
|
存储 分布式计算 大数据
大数据揭秘:从数据湖到数据仓库的全面解析
大数据揭秘:从数据湖到数据仓库的全面解析
98 19

热门文章

最新文章

推荐镜像

更多