[视频]云原生数据仓库 AnalyticDB PostgreSQL 版解析与实践(上)|学习笔记(四)

本文涉及的产品
PolarDB Agent Express,2核4GB
云数据库 PolarDB MySQL 版,列存表分析加速 8核16GB
PolarSearch,搜索节点 4核8GB
简介: 快速学习[视频]云原生数据仓库 AnalyticDB PostgreSQL 版解析与实践(上)

开发者学堂课程【数据仓库 ACP 认证课程[视频]云原生数据仓库 AnalyticDB PostgreSQL 版解析与实践(上) 】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/928/detail/14626


[视频]云原生数据仓库 AnalyticDB PostgreSQL 版解析与实践(上)

 

四、核心功能解析与实践

1.常见运维SQL命令

①常用运维SQL

实例

Schema

用户

权限

资源队列

存储配额

落盘文件

②常用运维命令

实例

节点

参数

2.实例运维 SQL

SQL

说明

select now0 from gp_dist_random("gp_id")

在每个节点运行now0函数,返回则表明所有节点运行正常

select * from pg_stat_activity where query!='<IDLE>' and pid!= pg_backend_pid0 and state!="idle' order by query_start asc

查看状态不为idle的连接和运行SQL,按开始时间排序,该输出包含进程号,会话号执行用户,客户端P,开始时间,当等信息前状态,是否在等待

select pg_cancel_backend(<PID>);

取消或结束运行中的SQL(优先执行cancel,若无法取消,则执行terminate )

select * from gp_segment_configuration ;

查看所有segment节点;

select * from gp_segment_configuration where status = "d';

查看down的segment节点;

select * from gp_segment_configuration where role !=preferred_role;

查看不平衡的segment节点

select * from gp_configuration_history ;

查看所有segment节点的历史状态变更信息

select datname, pg_size_pretty(pg_database_size(datname))from pg_catalog.pg_database;

查看所有数据库的大小

select pg_size_pretty(pg_database_size('yinc2'));

查看指定数据库的大小

Select now()form gp_dist_random(“gp_id”)检查实例当前是否可用,每个节点都可以返回,则说明都可以使用

3.Schema 运维 SQL

SQL

说明

select table_name from information_schema.tables where

table_schema='myschema’ ;

查看指定schema下所有表

 

select table_name, pg_total_relation_size(quote_ident(table_name)) frominformation_schema.tables where table_schema = 'myschema' order by 2 desc limit 5;

查看指定schema下表大小(由大到下排序)

 

非分区表: select pg_size_pretty(pg_relation_size(public.t1'));

分区表: select pg_size_pretty(pg_total_relation_size('public.t1'));

查看指定表大小

 

select oid from pg_class where relname='b' and relnamespace in (select oid from pg_namespace where nspname='public');

查看指定表public.b的oid

select * from pg_stat_last_operation where

objid='public.table_name':regclass::oid order by statime;

查看指定表public.table_name的操作记录

 

4.DEMO

①创建实例

②使用控制台

③连接数据库

④建表并导入数据

⑤执行SQL查询

⑥查看分析执行计划

⑦常用运维SQL

登录阿里云官网

立即购买

进入实例选型(根据实际情况选择)

高性能(基础版)相当于单副本

image.png产品控制台查看、账号管理(创建初始账号)、创建外网地址(本地电脑)

实时监控(体验优化改版,有更好的体验)

image.png

需要连接的话,创建白名单

备份恢复

连接数据库

使用文档下载跑 psql 客户端

输入密码

建表语法

CREATE TABLE NATION(

N_NATIONKEY INTEGER NOT NULL,

N_NAME      CHAR(25) NOT NULL,

N_REGIONKEY INTEGER NOT NULL,

N_COMMENT   VARCHARK (152)

)

WITH (APPENDONLY=TRUE,ORIENTATION=COLUMN,COMPRESSTYPE=ZSTD,COMPRESSLEVEL=9)

DISTRIBUTED Replicated

CREATE TABLE REGION (

R_REGIONKEY  INTEGER NOT NULL,

R_NAME       CHAR(25) NOT NULL,

R_COMMENT    VARCHAR(152)

)

WITH(APPENDONLY=TRUE,ORIENTATION=COLUNN,CONPRESSTYPE=ZSTD,COMPRESSLEVEL=9)

DISTRIBUTED Replicated

继续建表

数据导入后后台会自动合并与排序

通过 COPY 或 OSS 导入

执行加 analyse

运维SQL:

SQL成功返回,说明实例是可用的

image.png节点期望的角色和真正的角色

数据是否同步

数据库大小查看

指定表welcome,719兆,压缩完157兆,相当于1/5、1/4之间

指定表查看

Waiting 是 ture等锁释放

查看每张表是否被锁

5.真题讲解

①在实例规格选型层面,决定ADBPG实例复杂SQL查询性能RT的最关键因素是? B

A.Segment节点CPU核数

B.Segment节点数量

C. Master节点CPU核数

D. Master节点数量

节点数量越多,说明处理SQL节点越多,执行越快

CPU核数越多,处理并发能力越高

②ADBPG支持的表分布策略包括? ACD

A.哈希

B.指定节点

C.复制

D.随机

③ADBPG那个表类型支持主键索引? A

A.堆表

B.AO行存表

C.AO列存表

D.OSS外表

数据都在 OSS 上,所以不支持

④那张表可以查看当前运行的SQL ? C

A. pg_current_sql(迷惑)

B. gp_segment_configuration

C. pg_stat_activity

D. gp_locks_on_relation

⑤用于结束指定会话的SQL是? B

A. select pg_cancel_backend()

B. select pg_terminate_backend()

C. select pg_sleepo

D. select pg_stop()(迷惑)

相关实践学习
AnalyticDB PostgreSQL 企业智能数据中台:一站式管理数据服务资产
企业在数据仓库之上可构建丰富的数据服务用以支持数据应用及业务场景;ADB PG推出全新企业智能数据平台,用以帮助用户一站式的管理企业数据服务资产,包括创建, 管理,探索, 监控等; 助力企业在现有平台之上快速构建起数据服务资产体系
相关文章
|
11月前
|
存储 SQL 监控
数据中台架构解析:湖仓一体的实战设计
在数据量激增的数字化时代,企业面临数据分散、使用效率低等问题。数据中台作为统一管理与应用数据的核心平台,结合湖仓一体架构,打通数据壁垒,实现高效流转与分析。本文详解湖仓一体的设计与落地实践,助力企业构建统一、灵活的数据底座,驱动业务决策与创新。
|
11月前
|
SQL 分布式计算 DataWorks
破界·融合·进化:解码DataWorks与Hologres的湖仓一体实践
基于阿里云DataWorks与实时数仓Hologres,提供统一的大数据开发治理平台与全链路实时分析能力。DataWorks支持多行业数据集成与管理,Hologres实现海量数据的实时写入与高性能查询分析,二者深度融合,助力企业构建高效、实时的数据驱动决策体系,加速数字化升级。
|
存储 监控 数据挖掘
京东物流基于Flink & StarRocks的湖仓建设实践
本文整理自京东物流高级数据开发工程师梁宝彬在Flink Forward Asia 2024的分享,聚焦实时湖仓的探索与建设、应用实践、问题思考及未来展望。内容涵盖京东物流通过Flink和Paimon等技术构建实时湖仓体系的过程,解决复杂业务场景下的数据分析挑战,如多维OLAP分析、大屏监控等。同时,文章详细介绍了基于StarRocks的湖仓一体方案,优化存储成本并提升查询效率,以及存算分离的应用实践。最后,对未来数据服务的发展方向进行了展望,计划推广长周期数据存储服务和原生数据湖建设,进一步提升数据分析能力。
1318 1
京东物流基于Flink & StarRocks的湖仓建设实践
|
人工智能 关系型数据库 OLAP
光云科技 X AnalyticDB:构建 AI 时代下的云原生企业级数仓
AnalyticDB承载了光云海量数据的实时在线分析,为各个业务线的商家提供了丝滑的数据服务,实时物化视图、租户资源隔离、冷热分离等企业级特性,很好的解决了SaaS场景下的业务痛点,也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案,借助大模型和云计算为商家赋能。
1025 17
|
存储 SQL 运维
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
711 0
中国联通网络资源湖仓一体应用实践
|
存储 消息中间件 分布式计算
Hologres实时数仓在B站游戏的建设与实践
本文介绍了B站游戏业务中实时数据仓库的构建与优化过程。为满足日益增长的数据实时性需求,采用了Hologres作为核心组件优化传统Lambda架构,实现了存储层面的流批一体化及离线-实时数据的无缝衔接。文章详细描述了架构选型、分层设计(ODS、DWD、DIM、ADS)及关键技术挑战的解决方法,如高QPS点查、数据乱序重写等。目前,该实时数仓已广泛应用于运营分析、广告投放等多个场景,并计划进一步完善实时指标体系、扩展明细层应用及研发数据实时解析能力。
Hologres实时数仓在B站游戏的建设与实践
|
存储 分布式计算 MaxCompute
Hologres实时湖仓能力入门实践
本文由武润雪(栩染)撰写,介绍Hologres 3.0版本作为一体化实时湖仓平台的升级特性。其核心能力包括湖仓存储一体、多模式计算一体、分析服务一体及Data+AI一体,极大提升数据开发效率。文章详细解析了两种湖仓架构:MaxCompute + Hologres实现离线实时一体化,以及Hologres + DLF + OSS构建开放湖仓架构,并深入探讨元数据抽象、权限互通等重点功能,同时提供具体使用说明与Demo演示。
|
10月前
|
SQL 存储 运维
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
本文介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,菜鸟为什么选择 Doris,以及 Doris 如何在菜鸟从 0 开始,一步步的验证、落地,到如今上万核的规模,服务于各个业务线,Doris 已然成为菜鸟 OLAP 数据分析的最优选型。
586 2
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
|
9月前
|
存储 人工智能 关系型数据库
阿里云AnalyticDB for PostgreSQL 入选VLDB 2025:统一架构破局HTAP,Beam+Laser引擎赋能Data+AI融合新范式
在数据驱动与人工智能深度融合的时代,企业对数据仓库的需求早已超越“查得快”这一基础能力。面对传统数仓挑战,阿里云瑶池数据库AnalyticDB for PostgreSQL(简称ADB-PG)创新性地构建了统一架构下的Shared-Nothing与Shared-Storage双模融合体系,并自主研发Beam混合存储引擎与Laser向量化执行引擎,全面解决HTAP场景下性能、弹性、成本与实时性的矛盾。 近日,相关研究成果发表于在英国伦敦召开的数据库领域顶级会议 VLDB 2025,标志着中国自研云数仓技术再次登上国际舞台。
1040 1

推荐镜像

更多