Postgres与OS内核相关的几个参数设置

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: Postgres在postgresql.conf里面的配置参数有几个是和OS的内核参数紧密相关的,通常默认值是偏小的,但设置过大也会造成Postgres的启动失败,官方文档(Part 17.3)有较详细的说明,但没有例子,这里给出实际示例。
Postgres在postgresql.conf里面的配置参数有几个是和OS的内核参数紧密相关的,通常默认值是偏小的,但设置过大也会造成Postgres的启动失败,官方文档(Part 17.3)有较详细的说明,但没有例子,这里给出实际示例。 

测试环境: 
DB: postgres 9.1.3 
OS: CentOS 6.2 / Redhat
--内核参数文件位置:
/proc/sys/kernel
/etc/sysctl.conf
[root@localhost ~]# sysctl -a|more
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
kernel.shmmni = 4096
kernel.msgmax = 65536
kernel.msgmni = 2005
kernel.msgmnb = 65536
[postgres@localhost ~]$ cat /proc/sys/kernel/sem
250     32000   32      128
(semmsl  semmns  semopm  semmni)

1.shared_buffers VS shmget 
shared_buffers是共享内存的意思,如果该值超过系统的内存值(包括swap),会造成启动失败 
shmget是get share memory,它是创建一个共享内存的函数
[root@localhost ~]# free -m
             total       used       free     shared    buffers     cached
Mem:          1006        872        134          0        100        629
-/+ buffers/cache:        142        863
Swap:         2015         13       2002
[root@localhost ~]# su - postgres
[postgres@localhost ~]$ vi /database/pgdata/postgresql.conf 
shared_buffers = 5GB
[postgres@localhost ~]$ pg_start
server starting
[postgres@localhost ~]$ FATAL:  could not create shared memory segment: Cannot allocate memory
DETAIL:  Failed system call was shmget(key=1949001, size=5609447424, 03600).
HINT:  This error usually means that PostgreSQL's request for a shared memory segment exceeded available memory or swap space, or exceeded your kernel's SHMALL parameter.  You can either reduce the request size or reconfigure the kernel with larger SHMALL.  To reduce the request size (currently 5609447424 bytes), reduce PostgreSQL's shared memory usage, perhaps by reducing shared_buffers or max_connections.
        The PostgreSQL documentation contains more information about shared memory configuration.

解决办法是减小shared_buffers、max_connections值,也或者加大shmall值、shmax值、加大内存和swap,如果设置超大,大过内核值,则直接报错Invalid argument,如

[postgres@localhost ~]$ vi /database/pgdata/postgresql.conf
shared_buffers = 222222GB
max_connections = 100
[postgres@localhost ~]$ pg_start
server starting
[postgres@localhost ~]$ FATAL:  invalid value for parameter "shared_buffers": "222222GB"
HINT:  Value exceeds integer range. 
2.max_connections VS semget 
max_connections是最大连接数,即允许客户端连接的最大连接数,增大连接可以允许接入更多的客户端,但设置过大同样会造成DB启动失败 
semget是获取信号的一个函数,即get semaphore
[postgres@localhost ~]$ vi /database/pgdata/postgresql.conf 
max_connections = 5000
[postgres@localhost ~]$ pg_start
server starting
[postgres@localhost ~]$ FATAL:  could not create semaphores: No space left on device
DETAIL:  Failed system call was semget(1949125, 17, 03600).
HINT:  This error does *not* mean that you have run out of disk space.  It occurs when either the system limit for the maximum number of semaphore sets (SEMMNI), or the system wide maximum number of semaphores (SEMMNS), would be exceeded.  You need to raise the respective kernel parameter.  Alternatively, reduce PostgreSQL's consumption of semaphores by reducing its max_connections parameter.
        The PostgreSQL documentation contains more information about configuring your system for PostgreSQL.

上述的空间不够不是指的是磁盘空间不够,而是创建semaphores时空间参数不够,系统调用参数semget报错,但是错误信息感觉有些迷惑......解决办法通常是减小max_connections,或者增大内核参数,如semmni,semmns等,在/proc/sys/kernel/sem里面调整,如
[root@localhost ~]# sysctl -w kernel.sem="500 64000 50 150"
kernel.sem = 500 64000 50 150
[root@localhost ~]# cat /proc/sys/kernel/sem
500     64000   50      150
附参数说明 

 Name  Desc  Reasonable Value
 shmmax  Maximum size of shared memory segment (bytes)  at least several megabytes (see text)
 shmmin  Minimum size of shared memory segment (bytes)  1
 shmall  Total amount of shared memory available (bytes or pages)  if bytes, same as SHMMAX; if pages, ceil(SHMMAX/PAGE_SIZE)
 shmseg  Maximum number of shared memory segments per process only 1 segment is needed, but the default is much higher
 shmmni Maximum number of shared memory segments system-wide like SHMSEG plus room for other applications
 semmni Maximum number of semaphore identifiers (i.e., sets) at least ceil((max_connections + autovacuum_max_workers + 4) / 16)
 semmns  Maximum number of semaphores system-wide ceil((max_connections + autovacuum_max_workers
+ 4) / 16) * 17 plus room for other applications
 semmsl  Maximum number of semaphores per set  at least 17
 semmap  Number of entries in semaphore map  see text
 semvmx  Maximum value of semaphore at least 1000 (The default is often 32767; do not change unless necessary)
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
3天前
|
存储 边缘计算 分布式计算
探索操作系统的心脏:内核
【6月更文挑战第12天】本文深入探讨了操作系统中最为关键的组成部分——内核。我们将从内核的定义和功能出发,逐步解析其如何管理计算机硬件资源、提供系统服务以及保障系统安全。通过具体实例,本文揭示了内核在操作系统中的不可替代性,并展望了未来内核技术的发展趋势。
|
3天前
|
机器学习/深度学习 算法 安全
探索现代操作系统的内核设计与优化
在当今数字化时代,操作系统的内核是计算机系统稳定、高效运行的关键。本文深入探讨了现代操作系统内核的设计原则和优化方法,从微内核到宏内核,详细分析了它们各自的优缺点,并探讨了未来内核的发展趋势和创新方向。
10 1
|
11天前
|
存储 Linux 数据处理
探索Linux操作系统的内核与文件系统
本文深入探讨了Linux操作系统的核心组件,包括其独特的内核结构和灵活的文件系统。文章首先概述了Linux内核的主要功能和架构,接着详细分析了文件系统的工作原理以及它如何支持数据存储和检索。通过比较不同的文件系统类型,本文旨在为读者提供一个关于如何根据特定需求选择合适文件系统的参考框架。
|
15天前
|
安全 算法 网络协议
探索Linux操作系统的内核管理
【5月更文挑战第31天】本文将深入探讨Linux操作系统的内核管理机制,包括其设计原则、主要组件以及它们如何协同工作以提供高效的系统性能。通过分析Linux内核的关键特性和功能,我们将揭示这一开源操作系统如何在各种计算环境中保持其稳定性和灵活性。
|
15天前
|
算法 搜索推荐 开发工具
探索代码的奥秘:技术感悟与实践探索操作系统的心脏:内核
【5月更文挑战第31天】在数字世界的编织中,每一行代码都承载着创造者的智慧和汗水。本文将带你深入编程的核心,揭示那些隐藏在日常开发实践中的技术真谛。从算法的精妙到系统的架构,我们将一同探讨如何通过技术提升效率,解决问题,并在这个过程中获得个人成长。 【5月更文挑战第31天】本文深入剖析了操作系统的核心组件——内核,探讨了其设计哲学、功能职责以及在现代计算环境中的重要性。通过分析内核的工作原理和它如何与硬件、软件交互,我们将揭示这个隐藏在用户界面背后的力量之源。
|
1天前
|
安全 算法 调度
探索操作系统的心脏:内核
【6月更文挑战第14天】在数字世界的庞大机器中,操作系统扮演着不可或缺的角色。它如同计算机系统的灵魂,协调着软硬件之间的复杂交互。本文将深入探讨操作系统的核心——内核,揭示其如何管理硬件资源、提供系统服务以及保障系统安全。我们将通过一个独特的视角,即内核的内部运作机制,来理解操作系统的复杂性和重要性。
探索操作系统的心脏:内核
【6月更文挑战第10天】本文深入探讨了操作系统的核心组件——内核,分析了其设计、功能以及在现代计算机系统中的重要性。我们将通过一个虚构的故事来揭示内核如何在幕后默默工作,确保计算机系统的流畅运行。
|
4天前
|
安全 算法 Linux
探秘操作系统:从内核到用户界面的奥秘
【6月更文挑战第10天】本文将带领读者深入探索操作系统的多维世界,从其最基础的内核设计到丰富多彩的用户界面,我们将一窥这些软件巨匠如何支撑起现代计算的基石。不同于常规的技术解读,我们将通过故事化的叙述,揭示操作系统如何响应硬件、管理资源以及提供用户体验,展现它们不仅仅是代码和算法的集合,更是人类智慧与创造力的结晶。
|
4天前
|
存储 开发者
探索操作系统的心脏:内核
【6月更文挑战第10天】本文深入探讨了操作系统的核心组件——内核,它如同人体的心脏,是整个系统运行的动力源泉。我们将从内核的定义、功能、结构以及与用户空间的交互等方面进行剖析,揭示这个隐藏在幕后却至关重要的技术奇迹。
|
5天前
|
人工智能 安全 物联网
探索操作系统的心脏:内核与用户空间的神秘面纱
【6月更文挑战第10天】本文将带您深入理解操作系统的核心组件——内核,以及它如何与用户空间交互。我们将通过一系列生动的比喻和实例,揭示内核的工作原理,探讨其与用户空间的关系,并分析这种设计如何影响系统的性能和安全性。