如何加快PostgreSQL结巴分词加载速度

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云原生数据库 PolarDB 分布式版,标准版 2核8GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 背景 PostgreSQL的全文检索接口是开放API的,所以中文分词的插件也非常多,例如常用的scws分词插件,还有结巴分词的插件。 但是你在使用结巴分词插件的时候,有没有遇到这样的问题。 每个会话,第一次查询会比较慢,接下来的查询就快了。 例如 psql (9.5.3)

背景

PostgreSQL的全文检索接口是开放API的,所以中文分词的插件也非常多,例如常用的scws分词插件,还有结巴分词的插件。

但是你在使用结巴分词插件的时候,有没有遇到这样的问题。

每个会话,第一次查询会比较慢,接下来的查询就快了。

例如

psql (9.5.3)
Type "help" for help.

postgres=# \timing
Timing is on.
postgres=# select * from ts_debug('jiebacfg', '子远e5a1cbb8');
 alias | description |  token   | dictionaries | dictionary |  lexemes   
-------+-------------+----------+--------------+------------+------------
 n     | noun        | 子远     | {jieba_stem} | jieba_stem | {子远}
 n     | noun        | e5a1cbb8 | {jieba_stem} | jieba_stem | {e5a1cbb8}
(2 rows)

Time: 863.777 ms
postgres=# select * from ts_debug('jiebacfg', '子远e5a1cbb8');
 alias | description |  token   | dictionaries | dictionary |  lexemes   
-------+-------------+----------+--------------+------------+------------
 n     | noun        | 子远     | {jieba_stem} | jieba_stem | {子远}
 n     | noun        | e5a1cbb8 | {jieba_stem} | jieba_stem | {e5a1cbb8}
(2 rows)

Time: 1.342 ms

原因分析

第一次加载pg_jieba模块时,需要调用加载字典的动作。

/*
 * Module load callback
 */
void
_PG_init(void)
{
        if (jieba_ctx)
                return;

        {
                const char* dict_path = jieba_get_tsearch_config_filename(DICT_PATH, EXT);
                const char* hmm_path = jieba_get_tsearch_config_filename(HMM_PATH, EXT);
                const char* user_dict_path = jieba_get_tsearch_config_filename(USER_DICT, EXT);

        /*
         init will take a few seconds to load dicts.
         */
        jieba_ctx = Jieba_New(dict_path, hmm_path, user_dict_path);
        }
}

如果pg_jieba.so没有放在shared_preload_libraries或session_preload_libraries中,那么每个会话启动时,都需要load pg_jieba.so,从而导致了第一次查询速度非常慢。

例子

psql (9.5.3)
Type "help" for help.

postgres=# \timing
Timing is on.
postgres=# load 'pg_jieba';
LOAD
Time: 857.098 ms
postgres=# select * from ts_debug('jiebacfg', '子远e5a1cbb8');
 alias | description |  token   | dictionaries | dictionary |  lexemes   
-------+-------------+----------+--------------+------------+------------
 n     | noun        | 子远     | {jieba_stem} | jieba_stem | {子远}
 n     | noun        | e5a1cbb8 | {jieba_stem} | jieba_stem | {e5a1cbb8}
(2 rows)
Time: 4.952 ms

如何解决

知道问题在哪里了,就好解决。
可以将pg_jieba.so配置在shared_preload_libraries或session_preload_libraries中,就能解决以上问题。

vi postgresql.conf
 
shared_preload_libraries = 'pg_jieba.so'
or
session_preload_libraries = 'pg_jieba.so'

重启数据库

pg_ctl restart -m fast

内存开销比对

.1. 未配置

shared_preload_libraries = 'pg_jieba.so'
or
session_preload_libraries = 'pg_jieba.so'

session A :

psql (9.5.3)
Type "help" for help.

postgres=# select pg_backend_pid();
 pg_backend_pid 
----------------
          12254
(1 row)

session B :

psql (9.5.3)
Type "help" for help.

postgres=# select pg_backend_pid();
 pg_backend_pid 
----------------
          12261
(1 row)

backend process内存使用情况

# smem|grep 12261
  PID User     Command                         Swap      USS      PSS      RSS
12261 digoal   postgres: postgres postgres        0      812     1677     3780 

# smem|grep 12254
  PID User     Command                         Swap      USS      PSS      RSS
12254 digoal   postgres: postgres postgres        0      812     1682     3788

在未使用pg_jieba时,通过/proc/12261/smaps 也可以看到没有加载pg_jieba.so。

分别执行加载pg_jieba的模块或执行pg_jieba词法解析后

postgres=# load 'pg_jieba';
LOAD
Time: 872.095 ms

内存飙升

# smem|grep 12254
  PID User     Command                         Swap      USS      PSS      RSS
12254 digoal   postgres: postgres postgres        0   114404   116326   120272 

# smem|grep 12261
  PID User     Command                         Swap      USS      PSS      RSS
12261 digoal   postgres: postgres postgres        0   114404   116321   120260 

.1. 已配置

shared_preload_libraries = 'pg_jieba.so'
or
session_preload_libraries = 'pg_jieba.so'

分别执行QUERY后,backend process进程内存没有独占加载pg_jieba.so的内存,算在共享内存中。

[root@iZ28tqoemgtZ ~]# smem|grep 12410
  PID User     Command                         Swap      USS      PSS      RSS
12410 digoal   postgres: postgres postgres        0     3696    17754   118988 

[root@iZ28tqoemgtZ ~]# smem|grep 12412
  PID User     Command                         Swap      USS      PSS      RSS
12412 digoal   postgres: postgres postgres        0     3124    17115   118296 

通过/proc/12410/smaps 也可以看到,只是用到pg_jieba.so时算了少量的Pss。

7fb68fe40000-7fb68fe55000 r-xp 00000000 fd:01 1052111                    /home/digoal/pgsql9.5/lib/pg_jieba.so
Size:                 84 kB
Rss:                  48 kB
Pss:                  16 kB
Shared_Clean:         48 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:           48 kB
Anonymous:             0 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB
Locked:                0 kB
VmFlags: rd ex mr mw me 
7fb68fe55000-7fb690054000 ---p 00015000 fd:01 1052111                    /home/digoal/pgsql9.5/lib/pg_jieba.so
Size:               2044 kB
Rss:                   0 kB
Pss:                   0 kB
Shared_Clean:          0 kB
Shared_Dirty:          0 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:            0 kB
Anonymous:             0 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB
Locked:                0 kB
VmFlags: mr mw me 
7fb690054000-7fb690055000 r--p 00014000 fd:01 1052111                    /home/digoal/pgsql9.5/lib/pg_jieba.so
Size:                  4 kB
Rss:                   4 kB
Pss:                   0 kB
Shared_Clean:          0 kB
Shared_Dirty:          4 kB
Private_Clean:         0 kB
Private_Dirty:         0 kB
Referenced:            4 kB
Anonymous:             4 kB
AnonHugePages:         0 kB
Swap:                  0 kB
KernelPageSize:        4 kB
MMUPageSize:           4 kB
Locked:                0 kB
VmFlags: rd mr mw me ac 
7fb690055000-7fb690056000 rw-p 00015000 fd:01 1052111                    /home/digoal/pgsql9.5/lib/pg_jieba.so
...

参考

postgres=# alter function to_tsvector(regconfig,text) volatile;
ALTER FUNCTION
postgres=# explain (buffers,timing,costs,verbose,analyze) select to_tsvector('jiebacfg','中华人民共和国万岁,如何加快PostgreSQL结巴分词加载速度') from generate_series(1,1000000);
                                                                QUERY PLAN                                                                
-----------------------------------------------------------------------------------------------------------------------------------
 Function Scan on pg_catalog.generate_series  (cost=0.00..260.00 rows=1000 width=0) (actual time=100.054..13943.166 rows=1000000 loops=1)
   Output: to_tsvector('jiebacfg'::regconfig, '中华人民共和国万岁,如何加快PostgreSQL结巴分词加载速度'::text)
   Function Call: generate_series(1, 1000000)
   Buffers: temp read=1710 written=1709
 Planning time: 0.040 ms
 Execution time: 14175.527 ms
(6 rows)
Time: 14176.044 ms
postgres=# select to_tsvector('jiebacfg','中华人民共和国万岁,如何加快PostgreSQL结巴分词加载速度');
                                       to_tsvector                                        
------------------------------------------------------------------------------------------
 'postgresql':6 '万岁':2 '中华人民共和国':1 '分词':8 '加快':5 '加载':9 '结巴':7 '速度':10
(1 row)
Time: 0.522 ms
postgres=# select 8*1000000/14.175527;
      ?column?       
---------------------
 564352.916120860974
(1 row)
Time: 0.743 ms

小结

  • 为了提高结巴分词插件的装载速度,应该将so文件配置为数据库启动时自动加载。
  • 使用数据库启动时自动加载,还有一个好处,内存使用量也大大减少。

祝大家玩得开心,欢迎随时来 阿里云促膝长谈 业务需求 ,恭候光临。

阿里云的小伙伴们加油,努力做 最贴地气的云数据库

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
关系型数据库 数据库 PostgreSQL
PostgreSQL 加载动态库详解
PostgreSQL 支持通过动态库的方式扩展PG的功能,在调用动态库涉及的函数时会自动加载这些库。但是某些动态库可能需要预加载,例如使用了hook的动态库,或者是需要初始化共享内存,需要fork work process的动态库。举个例子:pg_stat_statements这个插件依赖的动态库.
6577 0
|
24天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
缓存 关系型数据库 分布式数据库
PolarDB常见问题之数据库cpu突然飙高如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
2月前
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
近日,阿里云旗下的自研云原生数据库PolarDB在2024年中国数据库流行度排行榜中夺冠,并刷新了榜单总分纪录,这一成就引起了技术圈的广泛关注。这一成就源于PolarDB在数据库技术上的突破与创新,以及对开发者和用户的实际需求的深入了解体会。那么本文就来分享一下关于数据库流行度排行榜的影响力以及对数据库选型的影响,讨论PolarDB登顶的关键因素,以及PolarDB“三层分离”新版本对开发者使用数据库的影响。
74 3
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB PostgreSQL版:Oracle兼容的高性能数据库
PolarDB PostgreSQL版是一款高性能的数据库,具有与Oracle兼容的特性。它采用了分布式架构,可以轻松处理大量的数据,同时还支持多种数据类型和函数,具有高可用性和可扩展性。它还提供了丰富的管理工具和性能优化功能,为企业提供了可靠的数据存储和处理解决方案。PolarDB PostgreSQL版在数据库领域具有很高的竞争力,可以满足各种企业的需求。
|
9天前
|
运维 关系型数据库 分布式数据库
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
4月19日周五,PolarDB开源社区联合科大讯飞共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
|
1月前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB突然有大量服务连不上数据库如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
存储 关系型数据库 MySQL
TiDB与MySQL、PostgreSQL等数据库的比较分析
【2月更文挑战第25天】本文将对TiDB、MySQL和PostgreSQL等数据库进行详细的比较分析,探讨它们各自的优势和劣势。TiDB作为一款分布式关系型数据库,在扩展性、并发性能等方面表现突出;MySQL以其易用性和成熟性受到广泛应用;PostgreSQL则在数据完整性、扩展性等方面具有优势。通过对比这些数据库的特点和适用场景,帮助企业更好地选择适合自己业务需求的数据库系统。
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
**PolarDB IMCI:云原生时代的智能数据库新选择**
**PolarDB IMCI:云原生时代的智能数据库新选择**
26 4

相关产品

  • 云原生数据库 PolarDB