背景
场景:
- 游戏、SaaS行业. serverless 场景: 在一个企业内部, 业务线非常多,
- 在同一个实例中有多个业务共同使用时,
- 分析师、DBA或者运营人员有偶尔使用数据库的需求.
挑战:
- 为每个业务分配一个数据库实例存在的问题: 资源浪费(每个实例在内存、空间方面的浪费)、弹性较差(创建资源慢、扩容缩容慢).
- 多个业务共享一个实例存在的问题: 资源争抢、干扰、抖动、安全风险增加,
- DBA或分析师人为的大查询可能将资源耗光, 影响在线业务
PG 方案:
- 按来源IP、USER、DBNAME、application_name等信息来区分用户和业务
- 结合cgroup隔离业务的cpu、io、网络等资源使用率, 防止干扰
例子
cgroup 配置举例
限制组cgroupA的任务最多可以使用8核资源
限制组cgroupB的任务最多可以使用16核资源
加载CPU子系统，创建子资源分区
mount -t cgroup -o cpu cpu /cgroup/cpu
cd /cgroup/cpu
mkdir cgroupA
mkdir cgroupB
配置资源配比(以100为基数，核数乘以100即得到cpu.shares)
echo 800 > cpu.shares
echo 1000000 > cpu.cfs_period_us
echo 8000000 > cpu.cfs_quota_us
cd ../cgroupB
echo 1600 > cpu.shares
echo 1000000 > cpu.cfs_period_us
echo 16000000 > cpu.cfs_quota_us
将PID放入某个cgroup组
创建一个shell将PID放入某个cgroup组
脚本内容略
配置允许PG进程的启动账号sudo执行该命令
202011/20201107_03.md 《Linux : 使用sudoedit 配置- 允许普通用户a以另一个用户b或组g执行某些特定命令》
在数据库中创建plpythonu, 调用shell, 将当前会话PID放入对应cgroup
create or replace function exec_cmd2(cmd text) returns setof text as $$
import os
v = os.popen('/home/digoal/cpu_cgroup.sh ' + cmd)
return v
$$ language plpythonu;
以下例子, 简单粗暴的逻辑,
- postgres 用户登陆后, 会话对应的backend PID 会塞入cgroupA
- digoal 用户登陆后, 会话对应的backend PID 会塞入cgroupB
实际使用中可以配置一个映射表,从映射表里面获取规则.
declare
pid int := pg_backend_pid();
begin
case current_user
when 'postgres' then perform exec_cmd2(format('%s %s',pid, 'cgroupA'));
when 'digoal' then perform exec_cmd2(format('%s %s',pid, 'cgroupB'));
else raise notice 'not mapping users cgroup';
end case;
end;
$$ language plpgsql strict;
配置login hook, 创建会话时, 自动执行以上函数
session_preload_libraries = 'session_exec'
session_exec.login_name = 'exec_cmd'
postgres 用户登陆后, 会话对应的backend PID 会塞入cgroupA
digoal 用户登陆后, 会话对应的backend PID 会塞入cgroupB
更复杂的逻辑
限制逻辑还可以更复杂一点, 例如, 根据:
- 来源IP
- 登陆的用户
- 登陆的数据库
- application_name(用户在连接URL里面可以设置, 用来区分不同的业务)
- 登陆的时间
- 当前实例级资源使用率
- 当前各个cgroup的资源使用率
- 当前映射的cgroup的资源使用率
实施动作:
- 将当前会话的PID放入某个cgoup组进行限制
- 扩大或缩小某个cgroup的限制上限. 例如凌晨放大BI业务的限制, 白天缩小BI业务的限制.
其他cgoup可以限制的指标:
- io, 读写吞吐, 网络流量, 内存等
参考
https://github.com/okbob/session_exec
202007/20200727_02.md 《PostgreSQL登录(新建会话)hook - login "trigger"插件》
201710/20171023_01.md 《在PostgreSQL中使用plpythonu 调用系统命令》
201606/20160613_01.md 《Linux cgroup - cpu与cpuset子系统讲解》
201606/20160611_01.md 《Linux cgroup资源隔离各个击破之- io隔离》
202011/20201107_03.md 《Linux : 使用sudoedit 配置- 允许普通用户a以另一个用户b或组g执行某些特定命令》
