centos7 postgresql10 安装 zhparser,配置中文全文检索

简介: centos7 postgresql10 安装 zhparser,配置中文全文检索

需求:使用postgresql10版本测试中文全文检索功能

postgresql13版本中文检索在这里


安装postgresql10数据库


我这里是使用的docker容器安装测试的

1、创建一个centos7镜像容器

docker run -di --name postgres10 --privileged=true -p 5432:5432 centos:7 /usr/sbin/init
docker exec -it postgres10 bash

2、安装yum源

yum install https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm

3、开始安装

yum makecache
yum -y install postgresql10-server.x86_64 postgresql10-devel.x86_64 

5、初始化数据库

/usr/pgsql-10/bin/postgresql-10-setup initdb
systemctl enable postgresql-10
systemctl start postgresql-10

6、配置账号信息

su -postgres
psql

创建用户

create user test with password '123.com';

创建数据库

create database test_db owner test;

退出

\q

7、设置远程配置

修改配置文件postgresql.conf – 允许远程

位置:/var/lib/pgsql/10/data/postgresql.conf

修改: listen_addresses = '*'

修改配置文件pg_hba.conf – 访问规则

位置:/var/lib/pgsql/10/data/pg_hba.conf

修改:底部Ipv4下新增 host all all 0.0.0.0/0 md5 访问规则

重启服务

systemctl restart postgresql-10.service


全文检索


提供了一种数据类型tsvector来存储预处理后的文档,还提供了一种类型tsquery来表示处理过的查询。有很多函数和操作符可以用于这些数据类型,其中最重要的是匹配操作符@@。全文搜索可以使用索引来加速

PostgreSQL中的全文搜索基于匹配操作符@@,它在一个tsvector(文档)匹配一个tsquery(查询)时返回true

e.g

搜索a fat cat sat on a mat and ate a fat rat中存不存在catrat

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector @@ 'cat & rat'::tsquery;
 ?column?
----------
 t

正如以上例子所建议的,一个tsquery并不只是一个未经处理的文本,顶多一个tsvector是这样。一个tsquery包含搜索术语,它们必须是已经正规化的词位,并且可以使用 AND 、OR、NOT 以及 FOLLOWED BY 操作符结合多个术语有几个函数to_tsquery、plainto_tsquery以及phraseto_tsquery可用于将用户书写的文本转换为正确的tsquery,它们会主要采用正则化出现在文本中的词的方法。相似地,to_tsvector被用来解析和正规化一个文档字符串。因此在实际上一个文本搜索匹配可能看起来更像:

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('fat & rat');
 ?column? 
----------
 t

在tsquery中,&(AND)操作符指定它的两个参数都必须出现在文档中才表示匹配。类似地,|(OR)操作符指定至少一个参数必须出现,而!(NOT)操作符指定它的参数不出现才能匹配。例如,查询fat & ! rat匹配包含fat但不包含rat的文档。

e.g

搜索fat cats ate fat rats中存在ate并且不存在ca

SELECT to_tsvector('fat cats ate fat rats') @@ to_tsquery('ate & ! ca');
 ?column? 
----------
 t

判断两个词是不是相邻的

SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> error');
 ?column? 
----------
 t
SELECT to_tsvector('fatal error not fatal') @@ to_tsquery('fatal <-> fatal');
 ?column? 
----------
 f


从表中查询字段


先创建一个测试表

CREATE TABLE test(id int,info TEXT,crt_time TIMESTAMP);
INSERT INTO test SELECT generate_series(1,10000),md5(random()::TEXT),clock_timestamp();

可以在没有一个索引的情况下做一次全文搜索。

查看info列中的fcd801772aa08e53eb52fefc0504467d在id列的第几行


SELECT id
FROM test
WHERE to_tsvector('english', info) @@ to_tsquery('english', 'fcd801772aa08e53eb52fefc0504467d');

1675241799748.jpg

1675241809010.jpg

以上的查询指定要使用english配置来解析和正规化字符串。我们也可以忽略配置参数:

SELECT id
FROM test
WHERE to_tsvector(info) @@ to_tsquery('fcd801772aa08e53eb52fefc0504467d');

查看数据库中已经安装的全文检索配置

\dF *

1675241830466.jpg

目前全文检索是不支持中文的,需要额外安装插件


拓展文件安装目录:/usr/pgsql-13/share/extension


安装中文检索组件


安装zhparser

安装zhparser前,需要安装scws

安装编译工具

yum install gcc make wget git -y
wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2
./configure && make && make install
git clone https://github.com/amutu/zhparser.git
make && make install

登录数据库

[root@229372496fad zhparser-master]# su - postgres
-bash-4.2$ psql
psql (10.18)
Type "help" for help.
postgres=# create extension zhparser;
CREATE EXTENSION
postgres=# \dFp
         List of text search parsers
   Schema   |   Name   |     Description     
------------+----------+---------------------
 pg_catalog | default  | default word parser
 public     | zhparser | 
(2 rows)

问题总结


问题1:make: pg_config: Command not found make: *** No targets. Stop.

解决:

export PATH=/usr/pgsql-10/bin:$PATH
• 1

再重新编译安装

make & make install
相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
9月前
|
应用服务中间件 Linux 网络安全
Centos 8.0中Nginx配置文件和https正书添加配置
这是一份Nginx配置文件,包含HTTP与HTTPS服务设置。主要功能如下:1) 将HTTP(80端口)请求重定向至HTTPS(443端口),增强安全性;2) 配置SSL证书,支持TLSv1.1至TLSv1.3协议;3) 使用uWSGI与后端应用通信(如Django);4) 静态文件托管路径设为`/root/code/static/`;5) 定制错误页面(404、50x)。适用于Web应用部署场景。
876 87
|
SQL Ubuntu 关系型数据库
PostgreSQL介绍和PostgreSQL包安装
PostgreSQL 是一个功能强大、可扩展的开源关系型数据库系统,以其可靠性、数据完整性和高性能著称。它支持复杂查询、事务、多版本并发控制及丰富的数据类型,适用于各种应用场景。本文介绍 PostgreSQL 的核心特性,并详细说明在多种 Linux 发行版上的安装与配置方法,帮助用户快速部署和使用该数据库系统。
733 0
|
7月前
|
存储 Linux Apache
在CentOS上配置SVN至Web目录的自动同步
通过上述配置,每次当SVN仓库中提交新的更改时,`post-commit`钩子将被触发,SVN仓库的内容会自动同步到指定的Web目录,从而实现代码的连续部署。
214 16
|
7月前
|
NoSQL 安全 Linux
设置Redis在CentOS7上的自启动配置
这些步骤总结了在CentOS 7系统上设置Redis服务自启动的过程。这些命令提供了一个直接且明了的方式,确保Redis作为关键组件在系统启动时能自动运行,保障了依赖于Redis服务的应用的稳定性和可用性。
580 9
|
关系型数据库 Go 网络安全
go语言中PostgreSQL驱动安装
【11月更文挑战第2天】
664 5
|
9月前
|
Linux
Centos6配置阿里云yum源报错
在CentOS 6配置阿里云Yum源时,可能出现EPEL仓库访问报错(404 Not Found)。解决方法:编辑`/etc/yum.repos.d/epel.repo`文件,将`enabled`和`gpgcheck`参数设为0 ``` 此设置可解决仓库无法访问的问题。
1957 29
|
9月前
|
Ubuntu 安全 Linux
CentOS与Ubuntu中防火墙配置命令集汇
有了这些,你就能遨游在 CentOS 和 Ubuntu 的海洋中,频繁地改变你的防火墙设置,快速地应对各种安全威胁,同时也能保证你的系统可以正常工作。出发吧,勇敢的编程者,随着这些命令集的涌动,扬帆起航,走向安全的网络世界!
307 5
|
10月前
|
关系型数据库 MySQL Linux
CentOS 7系统下详细安装MySQL 5.7的步骤:包括密码配置、字符集配置、远程连接配置
以上就是在CentOS 7系统下安装MySQL 5.7的详细步骤。希望这个指南能帮助你顺利完成安装。
2522 26
|
10月前
|
安全 Linux 网络安全
在Linux(CentOS和AWS)上安装更新的git2的方法并配置github-ssh
经过以上这些步骤,你现在就能在GitHub上顺利往返,如同海洋中的航海者自由驰骋。欢迎你加入码农的世界,享受这编程的乐趣吧!
434 10