PostgreSQL 会话级资源隔离探索

本文涉及的产品
云数据库 RDS SQL Server,基础系列 2核4GB
RDS PostgreSQL Serverless,0.5-4RCU 50GB 3个月
推荐场景:
对影评进行热评分析
云原生数据库 PolarDB 分布式版,标准版 2核8GB
简介:

背景

如果一个数据库对外提供的服务,或者承载的业务很多时,你首先想到的肯定是拆分数据库。

但是,拆分毕竟是有成本的,而且有时并不是所有的场景都适合拆分来解决。

如果多个业务混合在一起使用一个数据库,就容易造成资源的争抢。

那么不拆分的情况下,控制每个业务或者每个会话的资源使用呢?

如何区分来源应用

要隔离应用使用数据库的资源,首先要区分应用。

通常如果一个数据库提供了多个业务服务时,会给每个业务创建不同的库或者分配不同的用户。
screenshot

当然,如果你用了同一个库,或者同一个数据库,就分不清业务了吗?
当然不是,你还可以从业务的来源IP区分。
screenshot

如果业务部署在同一个IP上,就没有办法区分业务了吧?
当然也不是,你还可以通过application_name来区分业务。
screenshot

用什么手段隔离资源

PostgreSQL 是进程模式的,如果结合cgroup,就可以做到会话级别的资源隔离。

客户端向postmaster发起连接请求,postmaster fork一个backend process处理该连接请求,以及将来改客户端的SQL请求。

根据前面区分来源应用的方法,找到对应的应用。(这个区分方法应该首先要存储在数据库的表中,或者使用函数的手段获得)

根据应用于cgroup的映射关系,找到对应的cgroup,然后将这个PID写入对应cgroup的tasks文件即可。
screenshot

screenshot

步骤

  • 创建cgroup,包括mem, net, cpu, iops
  • 在每个cgroup中为每个业务创建对应的subcgroup,并配置对应的资源限制。
    例如(内存,网络包转发限制,网络带宽限制,CPU时间片分配限制,块设备的读写IOPS和读写带宽限制)
  • 修改内核,在fork后,需要处理将pid写入cgroup的动作。
  • 创建对应的函数,将指定的PID放到指定的CGROUP中。

小结

  • PostgreSQL的进程模式,为会话级资源隔离提供了便利。
  • 即使不改内核,你也可以通过在操作系统层部署程序的方式,做到对PostgreSQL会话级的资源隔离管理。
    pg_stat_activity中有你需要的用来区分客户端应用的信息(包括客户端IP, username, dbname, pid, application_name)。

祝大家玩得开心,欢迎随时来 阿里云促膝长谈 业务需求 ,恭候光临。

阿里云的小伙伴们加油,努力做 最贴地气的云数据库

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
6月前
|
存储 监控 关系型数据库
rds迁移前准备资源评估与配置
rds迁移前准备资源评估与配置
86 5
|
6月前
|
存储 关系型数据库 数据库
进行RDS(Relational Database Service)迁移时,资源需求分析
进行RDS(Relational Database Service)迁移时,资源需求分析
73 3
|
6月前
|
监控 安全 关系型数据库
在规划阿里云RDS跨区迁移资源和服务可用性
在规划阿里云RDS跨区迁移资源和服务可用性
309 4
|
6月前
|
NoSQL 关系型数据库 MySQL
《MySQL 简易速速上手小册》第10章:未来趋势和进阶资源(2024 最新版)
《MySQL 简易速速上手小册》第10章:未来趋势和进阶资源(2024 最新版)
55 0
|
SQL 监控 关系型数据库
Postgresql CPU 资源占用过高问题
Postgresql CPU 资源占用过高问题
1428 0
Postgresql CPU 资源占用过高问题
|
6月前
|
分布式计算 关系型数据库 MySQL
Sqoop【部署 01】CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)
【2月更文挑战第8天】Sqoop CentOS Linux release 7.5 安装配置 sqoop-1.4.7 解决警告并验证(附Sqoop1+Sqoop2最新版安装包+MySQL驱动包资源)
247 1
|
5月前
|
Oracle 关系型数据库 MySQL
实时计算 Flink版产品使用问题之整库从mysql同步到StarRocks里面,首次全量是否会对mysql造成大量资源消耗,导致影响业务服务
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
存储 SQL 关系型数据库
MySQL数据库学习指南与学习资源推荐
MySQL数据库学习指南与学习资源推荐
|
6月前
|
SQL 关系型数据库 MySQL
Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
【4月更文挑战第6天】Hive【环境搭建 01】【hive-3.1.2版本 安装配置】【含 mysql-connector-java-5.1.47.jar 网盘资源】【详细】
314 1
|
6月前
|
域名解析 存储 关系型数据库
rds迁移资源准备
rds迁移资源准备
49 2

相关产品

  • 云原生数据库 PolarDB
  • 云数据库 RDS PostgreSQL 版