文章目录
- 1、安装 ik 分词器
-
- 1.1 查看版本匹配
- 1.2 下载对应版本的分词器
- 1.3 安装、查看
- 2、测试分词器
-
- 1.1 默认分词器
- 1.2 使用分词器（1）
- 1.3 使用分词器（2）
- 3、自定义词库
-
- 3.1 修改IKAnalyzer.cfg.xml
- 3.2 nginx的设置
- 1.3 测试
- 5、后语
前言
一个 tokenizer（分词器）接收一个字符流，将之分割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens 流。
例如，whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割为 [Quick, brown, fox!]。
该 tokenizer（分词器）还负责记录各个 term（词条）的顺序或 position 位置（用于 phrase 短语和 word proximity 词近邻查询），以及 term（词条）所代表的原始 word（单词）的 start（起始）和 end（结束）的 character offsets（字符偏移量）（用于高亮显示搜索的内容）。
Elasticsearch 提供了很多内置的分词器，可以用来构建 custom analyzers（自定义分词器）。
安装elasticsearch-analysis-ik分词器需要和elasticsearch的版本匹配。我第一次安装没有匹配版本就导致分词器不能使用、安装后还报错
1、安装 ik 分词器
1.1 查看版本匹配
这里也有个小坑、我的是elasticsearch版本是7.17.2 ，然后这个版本也没说8.几的不能用，第一次装了一个最新的版本；装完后、发现版本不匹配。又重新下载安装了同一个版本的elasticsearch-analysis-ik
版本对应位置：https://github.com/medcl/elasticsearch-analysis-ik/blob/master/README.md
1.2 下载对应版本的分词器
分词器 https://github.com/medcl/elasticsearch-analysis-ik
1.3 安装、查看
直接将文件解压，放入到plugins目录下。如果你进行了目录挂载，就可以在容器外部操作。我这里进行了挂载，只需要将解压后的文件放入到对应挂载目录就可以。
2、测试分词器
1.1 默认分词器
POST _analyze
{
"text": "我是中国人"
}
1.2 使用分词器（1）
POST _analyze
{
"analyzer": "ik_smart",
"text": "我是中国人"
}
1.3 使用分词器（2）
POST _analyze
{
"analyzer": "ik_max_word",
"text": "我是中国人"
}
提示：能够看出不同的分词器，分词有明显的区别，所以以后定义一个索引不能再使用默认的 mapping 了，要手工建立 mapping, 因为要选择分词器
3、自定义词库
3.1 修改IKAnalyzer.cfg.xml
修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml ，如果进行了目录挂载，只需要在外部对应目录修改就行，我这里的外部挂载目录是：/mydata/elasticsearch/plugins/ik/config
3.2 nginx的设置
首先你要安装了nginx，我这以下操作步骤是基于nginx挂载到外部目录。
需要将这个链接地址放置到IKAnalyzer.cfg.xml中对应的远程词库目录
1.3 测试
POST _analyze
{
"analyzer": "ik_max_word",
"text": "汪汪队和猪猪对讨论乔碧罗"
}
5、后语
我这里最终的目的是项目中要使用到分词器的使用、不安装不行要执行的语句
我的代码执行结束后、报的是这个索引找不到。所以要创建、创建又需要用到分词器。
##创建一个gulimall_product新的索引
PUT gulimall_product
{
"mappings": {
"properties": {
"attrs": {
"type": "nested",
"properties": {
"attrId": {
"type": "long"
},
"attrName": {
"type": "keyword"
},
"attrValue": {
"type": "keyword"
}
}
},
"brandId": {
"type": "long"
},
"brandImg": {
"type": "keyword"
},
"brandName": {
"type": "keyword"
},
"catalogId": {
"type": "long"
},
"catalogName": {
"type": "keyword"
},
"hasStock": {
"type": "boolean"
},
"hotScore": {
"type": "long"
},
"saleCount": {
"type": "long"
},
"skuId": {
"type": "long"
},
"skuImg": {
"type": "keyword"
},
"skuPrice": {
"type": "keyword"
},
"skuTitle": {
"type": "text",
"analyzer": "ik_smart"
},
"spuId": {
"type": "keyword"
}
}
}
}
