postgresql|数据库|插件学习(二)---postgresql-12的外置插件pg_profile的启用和使用

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: postgresql|数据库|插件学习(二)---postgresql-12的外置插件pg_profile的启用和使用

前言:

postgresql数据库有非常多的插件,那么,pg_profile算是监控类的插件,该插件会通过内置的pg_stat_statements插件和dblink插件这两个插件监控查询postgresql的状态,并可以通过打快照的方式得到awr报告。

###注:AWR全称Automatic Workload Repository,自动负载信息库,该概念是oracle数据库的,但postgresql也有类似的插件,比如,今天要讲的这个pg_profile

本文将就如何安装这个pg_profile插件,以及如何使用此插件得到一个可用的性能监测awr报告。

一,

pg_profile的安装

PEV

Releases · zubkov-andrei/pg_profile · GitHub

以上两个网址都可以下载pg_profile,操作文档见此网址:pg_profile/pg_profile.md at 4.0 · zubkov-andrei/pg_profile · GitHub

那么,下载的版本是pg_profile--0.3.6.tar.gz,该版本不是很高,因为用的是pg12版本。

总共就四个文件,文件如下:

 

pg_profile.control文件内容如下:

说的是有两个插件依赖,dblink(这个是源码包自带的),plpgsql(这个是默认的)

# Profiler extension for PostgreSQL
comment = 'PostgreSQL load profile repository and report builder'
default_version = '0.3.6'
relocatable = false
requires = 'dblink,plpgsql'
superuser = false

那么,三个SQL脚本文件放置到$PGHOME目录下的share/extension/ 目录下,pg_profile.control放置到$PGHOME目录下的lib目录下就算安装完毕了。

dblink插件需要源码包安装,安装方式见上一个博客:postgresql|数据库|插件学习(一)---postgresql-12的内置插件pg_stat_statements的启用和使用_晚风_END的博客-CSDN博客

同时也需要安装pg_stat_statements插件,上面的文章都写了。

二,

pg_profile的配置

postgresql.conf 文件内增加如下配置,并重启数据库使之生效

shared_preload_libraries = 'pg_stat_statements'
pg_stat_statements.max = 10000
pg_stat_statements.track = 'top'
pg_stat_statements.save = on
track_activities = on
track_counts = on
track_io_timing = on
track_wal_io_timing = on      # Since Postgres 14
track_functions = all/pl

通过命令行登入数据库,执行以下命令:

postgres=# CREATE EXTENSION dblink;
postgres=# CREATE EXTENSION pg_stat_statements;
postgres=# CREATE SCHEMA profile;
postgres=# CREATE EXTENSION pg_profile SCHEMA profile;

这些命令执行完毕后,将会可以看到有四个插件:

 

postgres=# \dx
                                       List of installed extensions
        Name        | Version |   Schema   |                         Description                          
--------------------+---------+------------+--------------------------------------------------------------
 dblink             | 1.2     | public     | connect to other PostgreSQL databases from within a database
 pg_profile         | 0.3.6   | profile    | PostgreSQL load profile repository and report builder
 pg_stat_statements | 1.7     | public     | track execution statistics of all SQL statements executed
 plpgsql            | 1.0     | pg_catalog | PL/pgSQL procedural language
(4 rows)

还可以看到大量的函数和视图:

扩展参数(一般不需要设置):

您可以在postgresql.conf中定义扩展参数。默认值:

  • pg_profile.topn = 20 - 顶级对象(语句、关系等)的数量。),在每个排序后的报表中报告。此外,该参数影响样本的大小——您希望在报告中出现的对象越多,我们需要在样本中保留的对象就越多。
  • pg_profile.max_sample_age = 7 - 样品的保留时间(天)。样本、老化pg_profile.max_sample_age天数等将在下次调用take_sample()时自动删除。
  • pg_profile.track_sample_timings = off - 当此参数打开时,pg_profile将跟踪详细的采样时间。.
  • pg_profile.max_query_length = 20000 - 报告的查询长度限制。报告中的所有查询都将被截断到此长度。此设置不影响查询文本收集-在一个样本期间收集完整的查询文本,因此可以获得

三,

pg_profile的使用

查看数据库信息:

postgres=# select * from profile.show_servers();
 server_name |          connstr           | enabled | description 
-------------+----------------------------+---------+-------------
 local       | dbname=postgres port=35432 | t       | 
(1 row)

创建一个远程的服务器(远程的数据库ip是192.168.123.60,开放端口是5432,该服务器也安装了pg_profile):

[root@EULER1 ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:6d:97:07 brd ff:ff:ff:ff:ff:ff
    inet 192.168.123.60/24 brd 192.168.123.255 scope global noprefixroute ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::1b25:fbf0:3c0d:2037/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ac:d2:bc:7d brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 fe80::42:acff:fed2:bc7d/64 scope link 
       valid_lft forever preferred_lft forever
11: vetha169aaf@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue master docker0 state UP group default 
    link/ether b6:b7:7e:4a:62:d0 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet6 fe80::b4b7:7eff:fe4a:62d0/64 scope link 
       valid_lft forever preferred_lft forever
[root@EULER1 ~]# netstat -antup |grep postgre
tcp        0      0 0.0.0.0:5432            0.0.0.0:*               LISTEN      29063/postgres      

在本地服务器上执行,不在60上哦:

postgres=# SELECT profile.create_server('euler','host=192.168.123.60 dbname=postgres port=5432');
 create_server 
---------------
             4
(1 row)
postgres=# select * from profile.show_servers();
 server_name |                    connstr                    | enabled | description 
-------------+-----------------------------------------------+---------+-------------
 local       | dbname=postgres port=35432                    | t       | 
 euler       | host=192.168.123.60 dbname=postgres port=5432 | t       | 
(2 rows)

打快照

两个命令等价的

两个服务器都打快照

####下面的两个命令等价的
SELECT profile.snapshot() ;
select * from profile.take_sample();
postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.31)
 (euler,OK,00:00:00.7)
(2 rows)

单独打远程快照:

postgres=# select * from profile.take_sample('euler');
 take_sample 
-------------
           0
(1 row)

 

输出如下:

postgres=# select * from profile.take_sample();
 server | result |   elapsed   
--------+--------+-------------
 local  | OK     | 00:00:00.32
(1 row)
postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.36)
(1 row)

查看快照:

postgres=# select profile.show_samples();
           show_samples            
-----------------------------------
 (1,"2023-05-21 17:43:40+08",t,,,)
 (2,"2023-05-21 17:45:03+08",t,,,)
 (3,"2023-05-21 17:50:50+08",t,,,)
 (4,"2023-05-21 17:51:14+08",t,,,)
(4 rows)

查看远程快照:

postgres=# SELECT profile.snapshot() ;
        snapshot        
------------------------
 (local,OK,00:00:00.4)
 (euler,OK,00:00:00.77)
(2 rows)
postgres=# select profile.show_samples();
           show_samples            
-----------------------------------
 (1,"2023-05-21 17:43:40+08",t,,,)
 (2,"2023-05-21 17:45:03+08",t,,,)
 (3,"2023-05-21 17:50:50+08",t,,,)
 (4,"2023-05-21 17:51:14+08",t,,,)
 (5,"2023-05-21 18:02:45+08",t,,,)
 (6,"2023-05-21 19:40:54+08",t,,,)
 (7,"2023-05-21 19:42:31+08",t,,,)
 (8,"2023-05-21 19:42:54+08",t,,,)
 (9,"2023-05-21 19:43:22+08",t,,,)
(9 rows)
postgres=# select profile.show_samples('euler');
           show_samples            
-----------------------------------
 (1,"2023-05-21 19:38:41+08",t,,,)
 (2,"2023-05-21 19:40:54+08",t,,,)
 (3,"2023-05-21 19:42:28+08",t,,,)
 (4,"2023-05-21 19:42:31+08",t,,,)
 (5,"2023-05-21 19:42:43+08",t,,,)
 (6,"2023-05-21 19:42:54+08",t,,,)
 (7,"2023-05-21 19:43:11+08",t,,,)
 (8,"2023-05-21 19:44:01+08",t,,,)
(8 rows)

 

生成普通报告(第二个是远程的):

psql -Upostgres -p 35432  -qtc "select profile.get_report(1,3)"  --output awr_report_postgres_1_3.html
psql -Upostgres -p 35432  -qtc "select profile.get_report('euler',1,3)"  --output awr_report_postgres_1_3.html

生成差异化报告:

需要输入四个快照ID,前两个为一组,后两个为一组

psql -Upostgres -p 35432  -qtc "select profile.get_diffreport(1,2,3,4)"  --output awr_report_postgres_1_4.html

生成远程数据库服务器的差异化报告

psql -Upostgres -p 35432  -qtc "select profile.get_diffreport('euler',1,2,3,4)"  --output awr_report_postgres_1_4.html

本地的普通报告:

远程服务器euler的差异化报告:

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
30天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
缓存 关系型数据库 分布式数据库
PolarDB常见问题之数据库cpu突然飙高如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
18天前
|
Docker 容器 关系型数据库
【PolarDB-X从入门到精通】 第四讲:PolarDB分布式版安装部署(源码编译部署)
本期课程将于4月11日19:00开始直播,内容包括源码编译基础知识和实践操作,课程目标是使学员掌握源码编译部署技能,为未来发展奠定基础,期待大家在课程中取得丰富的学习成果!
【PolarDB-X从入门到精通】 第四讲:PolarDB分布式版安装部署(源码编译部署)
|
24天前
|
SQL 关系型数据库 MySQL
轻松入门MySQL:深入学习数据库表管理,创建、修改、约束、建议与性能优化(3)
轻松入门MySQL:深入学习数据库表管理,创建、修改、约束、建议与性能优化(3)
|
3天前
|
SQL Java 数据库连接
Java从入门到精通:2.3.1数据库编程——学习JDBC技术,掌握Java与数据库的交互
ava从入门到精通:2.3.1数据库编程——学习JDBC技术,掌握Java与数据库的交互
|
3天前
|
存储 网络协议 关系型数据库
Python从入门到精通:2.3.2数据库操作与网络编程——学习socket编程,实现简单的TCP/UDP通信
Python从入门到精通:2.3.2数据库操作与网络编程——学习socket编程,实现简单的TCP/UDP通信
|
5天前
|
关系型数据库 OLAP 分布式数据库
「杭州*康恩贝」4月26日PolarDB开源数据库沙龙,开启报名!
4月26日周五,PolarDB开源社区联合康恩贝将共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「杭州*康恩贝」4月26日PolarDB开源数据库沙龙,开启报名!
|
15天前
|
运维 关系型数据库 分布式数据库
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
4月19日周五,PolarDB开源社区联合科大讯飞共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB突然有大量服务连不上数据库如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。