PostgreSQL年龄的处理

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
简介: 实例周期性的IO升高,是因为数据库周期性执行autovacuum所致。 这种情况通常是因为频繁的更新、修改,引起年龄的增长、或脏数据的产生,从而触发autovacuum进行回收 具体autovacuum的机制可以参考  http://www.
实例周期性的IO升高,是因为数据库周期性执行autovacuum所致。

这种情况通常是因为频繁的更新、修改,引起年龄的增长、或脏数据的产生,从而触发autovacuum进行回收。

1. 查询库的年龄

SELECT   $$nos_db$$ AS env_name , 
         Current_database(), 
         nspname, 
         CASE relkind 
                  WHEN $$r$$ THEN $$ordinary table$$ 
                  WHEN $$t$$ THEN $$toast table$$ 
         END AS relkind, 
         relname, 
         age(relfrozenxid), 
         CASE 
                  WHEN ( 
                                    substring(reloptions::text,$$autovacuum_freeze_max_age=(\d+)$$)::int8) IS NOT NULL THEN (substring(reloptions::text,$$autovacuum_freeze_max_age=(\d+)$$)::int8)-age(relfrozenxid) 
                  ELSE 
                        ( 
                        SELECT setting 
                        FROM   pg_settings 
                        WHERE  name=$$autovacuum_freeze_max_age$$)::int8 - age(relfrozenxid) 
         END AS age_remain 
FROM     pg_class t2 
join     pg_namespace t3 
ON       t2.relnamespace=t3.oid 
WHERE    t2.relkind IN ($$t$$, 
                        $$r$$) 
AND      t2.relname LIKE 't_%' 
ORDER BY age(relfrozenxid) DESC;


根据vacuum_freeze_min_age、autovacuum_freeze_max_age、vacuum_freeze_table_age等参数,判断是否是因为年龄触发的。 该文档中有说明 http://xmarker.blog.163.com/blog/static/2264840572014524112214193/


2. 如果年龄比较高,则执行vacuum freeze

vacuum freeze 的锁粒度较小,且执行较快。  参考中的vacuum freeze相关的介绍  http://www.postgres.cn/docs/9.3/routine-vacuuming.html#VACUUM-FOR-WRAPAROUND

此时,可以解决由年龄触发的autovacuum。


3. 脏数据

经常更新,很容易造成脏数据,导致表的膨胀,请参考文档中的2.2部分 http://gitbook.cn/books/58db93b8f59193805502b491/index.html

可以先做下vacuum,然后看下表的空间占用是否会下降。必要的话,请做下vacuum full。


4. 业务维护

vacuum full可以解决当前频繁触发autovacuum的问题。正常情况下,autovacuum工作的很好,但鉴于当前业务更新量超大的情况,建议做好年龄和脏数据的监控,并及时处理。 或者在了解autovacuum的原理后,调整参数来适应业务,这个参考  http://www.postgres.cn/docs/9.3/runtime-config-autovacuum.html  




参考:

1. 具体autovacuum的机制可以参考  http://www.postgres.cn/docs/9.3/routine-vacuuming.html#VACUUM-FOR-WRAPAROUND
2. autovacuum相关参数 http://www.postgres.cn/docs/9.3/runtime-config-autovacuum.html  
3. MVCC:
http://www.jasongj.com/sql/mvcc/
https://mp.weixin.qq.com/s?__biz=MzI5MTQ3ODU4Nw==&mid=2247483739&idx=1&sn=06e4ea74b2a94c277c89c0fa0aa58a0e
https://mp.weixin.qq.com/s/so-MaqrUtncT8pbRngUcDA
https://my.oschina.net/liuyuanyuangogo/blog/497929
http://www.jianshu.com/p/f73b9f36e555
4. checkpoint:
https://yq.aliyun.com/articles/72500
http://mysql.taobao.org/monthly/2017/04/04/
http://www.jianshu.com/p/a37ceed648a8
https://kb.cnblogs.com/page/76601/   
5. 关于数据库中的年龄:
http://francs3.blog.163.com/blog/static/405767272012469589239
http://xmarker.blog.163.com/blog/static/2264840572014524112214193/
https://yq.aliyun.com/articles/50411
6. 可以参考的官方文档:
http://www.postgres.cn/docs/9.3/

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
存储 SQL 关系型数据库
PostgreSQL系统字段cmin和cmax详解
1.cmin和cmax是什么 PG中每个表都包含了一些系统字段,其中包括cmin和cmax。 cmin:插入该元组的命令在插入事务中的命令标识(从0开始累加) cmax:删除该元组的命令在插入事务中的命令标识(从0开始累加) 可以在Select命令的输出列表中显式地指定系统字段。
2898 0
|
5月前
|
Cloud Native 关系型数据库 分布式数据库
推荐你使用数据库排行榜第一的PolarDB
数据库大家都使用的,才是最好的,有足够多的案例和样本。
32989 16
|
关系型数据库 Go 数据库
《提高查询速度:PostgreSQL索引实用指南》
《提高查询速度:PostgreSQL索引实用指南》
546 0
|
SQL 存储 关系型数据库
【数据库原理及应用】MySQL数据表的检索
MySQL数据表的检索的基本语句
211 0
|
存储 JSON 算法
AnalyticDB MySQL-表和索引与MySQL的差异
AnalyticDB MySQL在语法上兼容MySQL,但是它的技术架构不同于MySQL,表和索引也和MySQL差异较大,这篇文章列出了这些差异,在使用AnalyticDB MySQL创建表时可以参考一下。
431 0
|
消息中间件 关系型数据库 分布式数据库
PolarDB for PostgreSQL 课后练习3
PolarDB for PostgreSQL 课后练习3
121 0
|
关系型数据库 分布式数据库 PolarDB
PolarDB for PostgreSQL 课后练习2
PolarDB for PostgreSQL 课后练习2
134 0
|
关系型数据库 分布式数据库 PolarDB
PolarDB for PostgreSQL 课后练习1
PolarDB for PostgreSQL 课后练习1
130 0
|
存储 消息中间件 关系型数据库
PolarDB for PostgreSQL 课后练习
PolarDB for PostgreSQL 课后练习
270 0
|
存储 关系型数据库 分布式数据库
PolarDB for PostgreSQL 课后练习5
PolarDB for PostgreSQL 课后练习5
126 0