[ElasticSearch]分析之Analysis(分析)

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 分析(analysis)是将文本(如任何电子邮件的正文)转换为添加到倒排索引中进行搜索的tokens或terms的过程。 分析由分析器analyzer执行,分析器可以是内置分析器或者每个索引定制的自定义分析器。

分析(analysis)是将文本(如任何电子邮件的正文)转换为添加到倒排索引中进行搜索的tokensterms的过程。 分析由分析器analyzer执行,分析器可以是内置分析器或者每个索引定制的自定义分析器。

1. 索引时分析(Index time analysis)

例如在索引时,内置的英文分析器将会转换下面句子:

"The QUICK brown foxes jumped over the lazy dog!"

转换为添加到倒排索引中的terms如下:

[ quick, brown, fox, jump, over, lazi, dog ]

1.1 指定索引时分析器

映射中的每个text字段都可以指定其自己的分析器:

curl -XPUT 'localhost:9200/my_index?pretty' -H 'Content-Type: application/json' -d'
{
  "mappings": {
    "my_type": {
      "properties": {
        "title": {
          "type":     "text",
          "analyzer": "standard"
        }
      }
    }
  }
}
'

在索引时,如果没有指定分析器,则会在索引设置中查找一个叫做default的分析器。 如果没有找到,默认使用标准分析器standard analyzer

2. 搜索时分析(Search time analysis)

同样的分析过程可以应用于进行全文检索搜索(例如match query 匹配查询)时,将查询字符串的文本转换为与存储在倒排索引中相同形式的terms

例如,用户可能搜索:

"a quick fox"

这将由相同的英语分析器分析为以下terms(上面索引时举例使用的是英语分析器):

[ quick, fox ]

即使在查询字符串中使用的确切单词不会出现在原始存储文本(quick vs QUICKfox vs foxes)中,因为我们已将相同的分析器应用于文本和查询字符串上,查询字符串中的terms 能够完全匹配到倒排索引中来自文本的terms,这意味着此查询将与我们的示例文档匹配。

2.1 指定搜索时分析器

通常情况下,在索引时和搜索时应该使用相同的分析器,而全文查询full text queries(例如匹配查询 match query)将使用映射来查找用于每个字段的分析器(use the mapping to look up the analyzer to use for each field.)。

通过查找用于搜索特定字段的分析器来决定::

  • 在查询本身中指定的分析器。
  • search_analyzer 映射参数。
  • analyzer 映射参数。
  • 索引设置中的default_search分析器。
  • 索引设置中的default分析器。
  • standard 标准分析器.

ElasticSearch版本

5.4

原文:https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
3月前
|
自然语言处理 API 索引
Elasticsearch Analyzer原理分析并实现中文分词
Elasticsearch Analyzer原理分析并实现中文分词
74 0
|
4月前
|
搜索推荐 Java 数据处理
Elasticsearch搜索分析引擎本地部署与远程访问
Elasticsearch搜索分析引擎本地部署与远程访问
|
8月前
|
定位技术
Elasticsearch之基于地理位置进行聚合分析
Elasticsearch之基于地理位置进行聚合分析
|
4月前
|
存储 SQL 监控
从 Elasticsearch 到 SelectDB,观测云实现日志存储与分析的 10 倍性价比提升
SelectDB 助力观测云完成日志数据存储和分析架构升级,实现整体性价比 10 倍提升,为日志存储和分析场景服务提供强大动力。
|
8月前
|
关系型数据库 MySQL Java
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
基于Elasticsearch+Logstash+Kibana的小型流量分析系统
|
8月前
|
存储 搜索推荐 数据挖掘
深入探索Elasticsearch搜索引擎:高效搜索和分析的利器
在现代信息时代,数据量爆炸式增长,如何高效地搜索、分析和检索数据成为了一个重要的挑战。Elasticsearch作为一款分布式、实时搜索和分析引擎,为我们提供了强大的解决方案。本文将深入探讨Elasticsearch的基本概念、特点,以及如何在实际应用中应用它来实现高效的搜索和分析。
82 1
|
9月前
|
自然语言处理 API 索引
Elasticsearch Analyzer原理分析并实现中文分词
Elasticsearch Analyzer原理分析并实现中文分词
110 0
|
11月前
《阿里云产品手册2022-2023 版》——检索分析服务 Elasticsearch 版
《阿里云产品手册2022-2023 版》——检索分析服务 Elasticsearch 版
157 0
|
11月前
|
数据建模
白话Elasticsearch59-数据建模实战_ Nested Aggregation/ Reverse nested Aggregation对嵌套的博客评论数据进行聚合分析
白话Elasticsearch59-数据建模实战_ Nested Aggregation/ Reverse nested Aggregation对嵌套的博客评论数据进行聚合分析
51 0
|
11月前
|
数据挖掘
白话Elasticsearch44-深入聚合数据分析之案例实战_颜色+品牌下钻分析时按最深层metric进行排序
白话Elasticsearch44-深入聚合数据分析之案例实战_颜色+品牌下钻分析时按最深层metric进行排序
65 0

热门文章

最新文章