ES 分词器简单应用

简介: ES 分词器简单应用

本文为博主原创,未经允许不得转载:

1. ES 分词器

  1.1 elasticsearch 默认分词器: standard

    standard 分词器会将每个英文单词及每个汉字进行单独拆分进行索引

  使用示例: 

POST _analyze 
 { 
 "analyzer":"standard", 
 "text":"我爱你中国" 
 }

 

  

 

  2. ik 中文分词器

  ik 中文分词器会根据具体的语义进行拆分,比如南京市,如果使用standard 分词设置,则会形成 南,京, 市三个索引,明显不合理,使用 ik 中文分词器,则会拆分成 南京市进行索引。ik 中文分词器有两种模式: ik_smart和ik_max_word 。  ik_smart 智能化拆分:比如清华大学,则会拆分为 清华大学,而 ik_max_word 则会拆分为清华大学,清华,大学等索引。

POST _analyze
 { 
 "analyzer": "ik_smart", 
 "text": "江苏省南京市江宁区" 
 }
 
  POST _analyze
 { 
 "analyzer": "ik_smart", 
 "text": "南京市" 
 }

  修改索引的默认分词方法:

PUT /test_es_db 
 { 
    "settings" : { 
    "index" : {
        "analysis.analyzer.default.type": "ik_max_word" 
        } 
    } 
}



 

标签: ElasticSearch

目录
相关文章
|
4月前
|
JSON 自然语言处理 Java
es索引、类型(mapping)、文档、ik分词器
es索引、类型(mapping)、文档、ik分词器
|
存储 自然语言处理 索引
ES分词器使用说明(analyzer)
本文章主要介绍了分词器的配置方法,以及分词器的优先级,同时配置了多个维度的分词器,哪一个分词器会生效,当出现分词结果不符合预期的时候,可以通过这个本文档内容进行梳理和排查。
2338 0
|
1月前
|
自然语言处理 Docker 容器
ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装
ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装
20 0
|
3月前
|
自然语言处理 数据可视化 Linux
ElasticSearch安装ik分词器_使用_自定义词典
ElasticSearch安装ik分词器_使用_自定义词典
42 1
|
4月前
|
自然语言处理 算法 搜索推荐
ES-IK分词器的概念和基本使用
ES-IK分词器的概念和基本使用
|
4月前
|
JSON 自然语言处理 数据格式
ElasticSearchIK分词器的安装与使用IK分词器
ElasticSearchIK分词器的安装与使用IK分词器
59 0
|
4月前
|
自然语言处理
Elasticsearch+IK+pinyin自定义分词器
Elasticsearch+IK+pinyin自定义分词器
55 0
|
自然语言处理 Shell 索引
【ES系列七】——ik自定义分词词库
在利用ik分词的过程中,当ik的分词规则不满足我们的需求了,这个时候就可以利用ik的自定义词库进行筛选,举个例子:当我要将“我是中国人,我想测试一下”这句话通过分词,将“我想测试一下”分为一个词的时候,就需要利用ik的自定义词库进行灌入指定的词。
【ES系列七】——ik自定义分词词库
|
机器学习/深度学习 自然语言处理 算法
ES中的中文分词技术,很牛逼!
ES中的中文分词技术,很牛逼!
305 0
ES中的中文分词技术,很牛逼!
|
自然语言处理 索引
【ES系列三】——ES集成ik分词并测试
解压后的结构如下图(需要放到elasticsearch安装目录的plugins文件夹下进行解压)