标签
PostgreSQL , Linux , 对象 , inode 限制 , 目录数限制
背景
PostgreSQL 里面创建的表，序列，索引，物化视图等带有存储的对象，每个对象的数据文件都是独立的，较依赖文件系统的管理能力。并不像Oracle那样把对象放到表空间中管理，表空间又由若干的数据文件组成。(ASM的话则接管更多的操作。)
所以，当创建了很多个有实际存储的对象时，文件数就会很多：
通常一个表包含数据文件（若干，单个默认1G），fsm文件一个, vm文件一个，如果是unlogged table则还有_init文件一个。
文件数过多，可能触发文件系统的一些限制。
ext4_dx_add_entry: Directory index full!
举例
某个系统，在创建新的对象时，报这样的错误。
ERROR: could not create file "base/16392/166637613": No space left on device
digoal=# do language plpgsql $$
declare
begin
for i in 1..1000 loop
execute 'create table test'||i||'(id int primary key, c1 int unique, c2 int unique)';
end loop;
end;
$$;
ERROR: 53100: could not create file "base/16392/166691646": No space left on device
CONTEXT: SQL statement "create table test43(id int primary key, c1 int unique, c2 int unique)"
PL/pgSQL function inline_code_block line 5 at EXECUTE statement
LOCATION: mdcreate, md.c:304
报错的PG源码文件如下
/*
* mdcreate() -- Create a new relation on magnetic disk.
*
* If isRedo is true, it's okay for the relation to exist already.
*/
void
mdcreate(SMgrRelation reln, ForkNumber forkNum, bool isRedo)
{
MdfdVec *mdfd;
char *path;
File fd;
if (isRedo && reln->md_num_open_segs[forkNum] > 0)
return; /* created and opened already... */
Assert(reln->md_num_open_segs[forkNum] == 0);
path = relpath(reln->smgr_rnode, forkNum);
fd = PathNameOpenFile(path, O_RDWR | O_CREAT | O_EXCL | PG_BINARY, 0600);
if (fd < 0)
{
int save_errno = errno;
/*
* During bootstrap, there are cases where a system relation will be
* accessed (by internal backend processes) before the bootstrap
* script nominally creates it. Therefore, allow the file to exist
* already, even if isRedo is not set. (See also mdopen)
*/
if (isRedo || IsBootstrapProcessingMode())
fd = PathNameOpenFile(path, O_RDWR | PG_BINARY, 0600);
if (fd < 0)
{
/* be sure to report the error reported by create, not open */
errno = save_errno;
ereport(ERROR,
(errcode_for_file_access(),
errmsg("could not create file \"%s\": %m", path)));
}
}
pfree(path);
_fdvec_resize(reln, forkNum, 1);
mdfd = &reln->md_seg_fds[forkNum][0];
mdfd->mdfd_vfd = fd;
mdfd->mdfd_segno = 0;
}
实际上就是创建文件出错，但并不是真的没有空间了"No space left on device"。
在系统中可以看到dmesg的消息如下
[14372230.975489] EXT4-fs warning (device dm-0): ext4_dx_add_entry: Directory index full!
[14372230.984268] EXT4-fs warning (device dm-0): ext4_dx_add_entry: Directory index full!
[14372230.992913] EXT4-fs warning (device dm-0): ext4_dx_add_entry: Directory index full!
这个错误与某个目录下的文件数有关。文件数与INODE有关，同时EXT4中为了提高检索文件的性能，有index的优化开关。
man mkfs.ext4
dir_index
Use hashed b-trees to speed up lookups in large directories.
看起来像是这个超了。
和数据库进程的ulimit并无关系：
#cd /proc/17128
#cat limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size unlimited unlimited bytes
Max core file size unlimited unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 655360 655360 processes
Max open files 655360 655360 files
Max locked memory unlimited unlimited bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 4133740 4133740 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
分析原因
这个数据库居然创建了2万多个schema。
...... .....
repo_20171106_1034_2877694 | digoal
repo_20171106_1034_2877696 | digoal
repo_20171106_1034_2877697 | digoal
repo_20171106_1034_2877699 | digoal
repo_20171106_1034_2877700 | digoal
repo_20171106_1034_2877701 | digoal
repo_20171106_1034_2877703 | digoal
digoal=# select count(*) from pg_namespace;
count
-------
27151
(1 row)
每个schema的内容都差不多，有600多个对象。
digoal=# select count(*) from pg_class where relnamespace=(select oid from pg_namespace where nspname='repo_20171106_1034_2877737');
count
-------
616
(1 row)
这个数据库中一共有2068万个对象。
digoal=# select count(*) from pg_class;
count
----------
20680394
(1 row)
PG数据文件的存放规则
表空间目录/数据库目录/对象文件
目录结构
表空间/数据库/对象
表空间/数据库/对象.1
...
表空间/数据库/对象.n
表空间/数据库/对象_fsm
表空间/数据库/对象_vm
表空间/数据库/对象_init
如果这些对象都在一个表空间里面，那么这个表空间下对应数据库OID的目录中，将有至少2000多万个文件。
$ cd $PGDATA/base/16392
$ ll|wc -l
21637521
果然，有2163万个文件，看样子和它有莫大关系。
开启ext4的dir_index，对单个目录中文件数会有限制。
解决方法
1、删除不必要的schema
2、创建多个表空间，因为每个表空间是一个单独的目录。
3、将对象分配到不同的表空间中，这样的话就可以避免开启ext4的dir_index后，当有很多个对象时，单个目录中文件数超出限制的问题。
小结
由于目前PG的不同对象，存放在不同的数据文件中，当有多个对象时，会创建多个数据文件。
目前PG对象的数据文件存在目录结构如下：
表空间/数据库/对象
表空间/数据库/对象.1
...
表空间/数据库/对象.n
表空间/数据库/对象_fsm
表空间/数据库/对象_vm
表空间/数据库/对象_init
如果将单个库的所有对象存放在一个表空间中，这个表空间/数据库目录下会有很多个文件，那么可能遇到开启ext4的dir_index后，当有很多个对象时，单个目录中文件数超出限制的问题。
比如本例，一个表空间/数据库目录下，有2000多万个文件。导致了ext4_dx_add_entry: Directory index full!的问题。
为了避免这个问题，建议在单个库的单个表空间中，不要超过500万个对象。如果有更多的对象要在一个库中创建，那么可以创建多个表空间。
当然，我们这里还没有提到文件系统的其他限制，比如一个文件系统INODE的限制。与位数，以及文件系统有关。
参考
《PostgreSQL DaaS设计注意 - schema与database的抉择》
《PostgreSQL 备库apply延迟(delay)原理分析与诊断》
《PostgreSQL 流复制延迟的测试方法》
《PostgreSQL standby 在万兆网环境中缘何 延迟? 如何解决?》
https://serverfault.com/questions/104986/what-is-the-maximum-number-of-files-a-file-system-can-contain
https://ext4.wiki.kernel.org/index.php/Ext4_Howto#Bigger_File_System_and_File_Sizes
https://ext4.wiki.kernel.org/index.php/Ext4_Disk_Layout
https://stackoverflow.com/questions/466521/how-many-files-can-i-put-in-a-directory
https://serverfault.com/questions/482998/how-can-i-fix-it-ext4-fs-warning-device-sda3-ext4-dx-add-entry-directory-in
https://access.redhat.com/solutions/29894
