PostgreSQL 会话级资源隔离探索

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介:

背景

如果一个数据库对外提供的服务,或者承载的业务很多时,你首先想到的肯定是拆分数据库。

但是,拆分毕竟是有成本的,而且有时并不是所有的场景都适合拆分来解决。

如果多个业务混合在一起使用一个数据库,就容易造成资源的争抢。

那么不拆分的情况下,控制每个业务或者每个会话的资源使用呢?

如何区分来源应用

要隔离应用使用数据库的资源,首先要区分应用。

通常如果一个数据库提供了多个业务服务时,会给每个业务创建不同的库或者分配不同的用户。
screenshot

当然,如果你用了同一个库,或者同一个数据库,就分不清业务了吗?
当然不是,你还可以从业务的来源IP区分。
screenshot

如果业务部署在同一个IP上,就没有办法区分业务了吧?
当然也不是,你还可以通过application_name来区分业务。
screenshot

用什么手段隔离资源

PostgreSQL 是进程模式的,如果结合cgroup,就可以做到会话级别的资源隔离。

客户端向postmaster发起连接请求,postmaster fork一个backend process处理该连接请求,以及将来改客户端的SQL请求。

根据前面区分来源应用的方法,找到对应的应用。(这个区分方法应该首先要存储在数据库的表中,或者使用函数的手段获得)

根据应用于cgroup的映射关系,找到对应的cgroup,然后将这个PID写入对应cgroup的tasks文件即可。
screenshot

screenshot

步骤

  • 创建cgroup,包括mem, net, cpu, iops
  • 在每个cgroup中为每个业务创建对应的subcgroup,并配置对应的资源限制。
    例如(内存,网络包转发限制,网络带宽限制,CPU时间片分配限制,块设备的读写IOPS和读写带宽限制)
  • 修改内核,在fork后,需要处理将pid写入cgroup的动作。
  • 创建对应的函数,将指定的PID放到指定的CGROUP中。

小结

  • PostgreSQL的进程模式,为会话级资源隔离提供了便利。
  • 即使不改内核,你也可以通过在操作系统层部署程序的方式,做到对PostgreSQL会话级的资源隔离管理。
    pg_stat_activity中有你需要的用来区分客户端应用的信息(包括客户端IP, username, dbname, pid, application_name)。

祝大家玩得开心,欢迎随时来 阿里云促膝长谈 业务需求 ,恭候光临。

阿里云的小伙伴们加油,努力做 最贴地气的云数据库

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
2月前
|
分布式计算 关系型数据库 MySQL
Sqoop【部署 01】CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)
【2月更文挑战第8天】Sqoop CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)
106 1
|
3月前
|
存储 监控 关系型数据库
rds迁移前准备资源评估与配置
rds迁移前准备资源评估与配置
37 5
|
3月前
|
存储 关系型数据库 数据库
进行RDS(Relational Database Service)迁移时,资源需求分析
进行RDS(Relational Database Service)迁移时,资源需求分析
31 3
|
3月前
|
域名解析 存储 关系型数据库
rds迁移资源准备
rds迁移资源准备
27 2
|
3月前
|
监控 安全 关系型数据库
在规划阿里云RDS跨区迁移资源和服务可用性
在规划阿里云RDS跨区迁移资源和服务可用性
262 4
|
5月前
|
关系型数据库 Serverless 分布式数据库
针对PolarDB的Serverless能力从资源弹升速度、资源伸缩广度以及资源伸缩的稳定性三个维度的产品测评
针对PolarDB的Serverless能力从资源弹升速度、资源伸缩广度以及资源伸缩的稳定性三个维度的产品测评
206 0
|
5月前
|
关系型数据库 MySQL Linux
MySQL【部署 02】Linux 非 root 用户部署 mysql-5.7.28 设置开机启动及问题汇总(含云盘资源)
MySQL【部署 02】Linux 非 root 用户部署 mysql-5.7.28 设置开机启动及问题汇总(含云盘资源)
77 0
|
5月前
|
关系型数据库 测试技术 Serverless
【PolarDB Serverless】资源伸缩&压测 TPC-C 测评
【PolarDB Serverless】资源伸缩&压测 TPC-C 测评
155985 31
【PolarDB Serverless】资源伸缩&压测 TPC-C 测评
|
7月前
智能教学资源库系统 毕业设计 JAVA+Vue+SpringBoot+MySQL(二)
智能教学资源库系统 毕业设计 JAVA+Vue+SpringBoot+MySQL
|
7月前
|
Java 测试技术 网络安全
智能教学资源库系统 毕业设计 JAVA+Vue+SpringBoot+MySQL(一)
智能教学资源库系统 毕业设计 JAVA+Vue+SpringBoot+MySQL

相关产品

  • 云原生数据库 PolarDB