分词器
简介
ES文档的数据拆分成一个个有完整含义的关键词，并将关键词与文档对应，这样就可以通过关键词查询文档
要想正确的分词，需要选择合适的分词器
默认分词器
简介
根据空格和标点符号对英文进行分词，会进行单词的大小写转换
默认分词器是英文分词器，对中文的分词是一字一词
基本使用
GET /_analyze { "text": "月木天上", "analyzer": "standard" }
IK分词器
简介
IK分词器提供了两种分词算法：
ik_smart：最少切分
ik_max_word：最细粒度划分
IK分词器词典
IK分词器根据词典进行分词，词典文件在IK分词器的config目录中：
main.dic：IK中内置的词典。记录了IK统计的所有中文单词
IKAnalyzer.cfg.xml：用于配置自定义词库
基本使用
GET /_analyze { "text":"月木天上", "analyzer":"ik_smart" }
GET /_analyze { "text":"月木天上", "analyzer":"ik_max_word" }
拼音分词器
简介
拼音分词器可以将中文分成对应的全拼，全拼首字母等
基本使用
GET /_analyze { "text":"月木天上", "analyzer":"pinyin" }
自定义分词器
简介
真实开发中我们往往需要对一段内容既进行文字分词，又进行拼音分词，此时我们需要自定义ik+pinyin分词器
在创建索引时自定义分词器
PUT /索引名 { "settings" : { "analysis" : { "analyzer" : { "ik_pinyin" : { //自定义分词器名 "tokenizer":"ik_max_word", // 基本分词器 "filter":"pinyin_filter" // 配置分词器过滤 } }, "filter" : { // 分词器过滤时配置另一个分词器，相当于同时使用两个分词器 "pinyin_filter" : { "type" : "pinyin", // 另一个分词器 // 拼音分词器的配置 "keep_separate_first_letter" : false, // 是否分词每个字的首字母 "keep_full_pinyin" : true, // 是否分词全拼 "keep_original" : true, // 是否保留原始输入 "remove_duplicated_term" : true // 是否删除重复项 } } } }, "mappings":{ "properties":{ "域名1":{ "type":域的类型, "store":是否单独存储, "index":是否创建索引, "analyzer":分词器 }, "域名2":{ ... } } } }
