Elasticsearch之常用DSL语句

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: mapping是对索引库中文档的约束

1. Elasticsearch之常用DSL语句


1.1 操作索引

mapping是对索引库中文档的约束,常见的mapping属性包括:


- type:字段数据类型,常见的简单类型有:

 - 字符串:text(可分词的文本)、keyword(精确值,例如:品牌、国家、ip地址)

 - 数值:long、integer、short、byte、double、float、

 - 布尔:boolean

 - 日期:date

 - 对象:object

- index:是否创建索引,默认为true

- analyzer:使用哪种分词器


创建索引

PUT /goods
{
  "mappings": {
    "properties": {
      "brandName": {
        "type": "keyword"
      },
      "categoryName": {
        "type": "keyword"
      },
      "createTime": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss"
      },
      "id": {
        "type": "keyword"
      },
      "price": {
        "type": "double"
      },
      "saleNum": {
        "type": "integer"
      },
      "status": {
        "type": "integer"
      },
      "stock": {
        "type": "integer"
      },
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
      }
    }
  }
}


查询索引

GET /goods


修改索引库


倒排索引结构虽然不复杂,但是一旦数据结构改变(比如改变了分词器),就需要重新创建倒排索引,这简直是灾难。因此索引库一旦创建,无法修改mapping。


虽然无法修改mapping中已有的字段,但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响。

PUT /索引库名/_mapping
{
  "properties": {
    "新字段名":{
      "type": "integer"
    }
  }
}


删除索引库

DELETE /goods


1.2 文档操作


新增文档

POST /goods/_doc/1
{
  "id": 1,
  "brandName": "Apple",
  "categoryName": "手机",
  "createTime": "2023-12-26 20:00:00",
  "price": 8000,
  "saleNum": 100,
  "status": 0,
  "stock": 100,
  "title": "Apple iPhone 15 Pro 256GB 远峰蓝色 支持移动联通电信5G 双卡双待手机"
}
POST /goods/_doc/2
{
  "id": 2,
  "brandName": "Huawei",
  "categoryName": "手机",
  "createTime": "2023-12-26 20:00:00",
  "price": 7000,
  "saleNum": 400,
  "status": 0,
  "stock": 200,
  "title": "华为 HUAWEI Mate 60 Pro 智能手机 鸿蒙系统卫星通话昆仑玻璃"
}



查询文档

GET /goods/_doc/1
//批量获取
GET goods/_doc/_mget
{
  "ids":["1","2"]
}


删除文档

DELETE /goods/_doc/1


修改文档

DELETE /goods/_doc/1


全量修改是覆盖原来的文档,其本质是:


根据指定的id删除文档

新增一个相同id的文档

注意:如果根据id删除时,id不存在,第二步的新增也会执行,也就从修改变成了新增操作了。


PUT /{索引库名}/_doc/文档id
{
    "字段1": "值1",
    "字段2": "值2",
    // ... 略
}


增量修改是只修改指定id匹配的文档中的部分字段。


POST /{索引库名}/_update/文档id
{
    "doc": {
         "字段名": "新的值",
    }
}


1.3 DSL查询


查询所有

GET /goods/_search
{
  "query": {
    "match_all": {}
  }
}


全文检索

//单字段查询
GET /goods/_search
{
  "query": {
    "match": {
      "title": "手机"
    }
  }
}
//多字段查询
GET /goods/_search
{
  "query": {
    "multi_match": {
      "query": "手机",
      "fields": ["title"]
    }
  }
}


精准查询


精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以不会对搜索条件分词。常见的有:


- term:根据词条精确值查询

- range:根据值的范围查询


term查询的字段是不分词的字段,因此查询的条件也必须是不分词的词条。查询时,用户输入的内容跟自动值完全匹配时才认为符合条件。如果用户输入的内容过多,反而搜索不到数据。


GET /goods/_search
{
  "query": {
   "term": {
     "categoryName": {
       "value": "手机"
     }
   }
  }
}
//匹配多个term
GET /goods/_search
{
  "query": {
   "terms": {
     "categoryName": [
       "手机",
       "电脑"
     ]
   }
  }
}


范围查询,一般应用在对数值类型做范围过滤的时候。比如做价格范围过滤。


GET /goods/_search
{
  "query": {
   "range": {
     "price": {
       "gte": 7500,
       "lte": 9000
     }
   }
  }
}


复合查询


- must:必须匹配的条件,可以理解为“与”

- should:选择性匹配的条件,可以理解为“或”

- must_not:必须不匹配的条件,不参与打分

- filter:必须匹配的条件,不参与打分


POST goods/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
          "brandName": {
            "value": "Apple"
          }
        }}
      ],
      "should": [
        {
          "term": {
          "categoryName": {
            "value": "手机"
          }
        }}
      ],
      "filter": [
        {
          "range": {
            "stock": {
              "gt": 0
            }
          }
        }
      ]
    }
  }
}


1.4 搜索结果处理

普通字段排序


GET /goods/_search
{
  "query": {
    "match_all": {}
  },
  "sort": [
    {
     "stock": "desc"  //asc升序
    }
  ]
}


分页


elasticsearch中通过修改from、size参数来控制要返回的分页结果:


- from:从第几个文档开始

- size:总共查询几个文档

GET /goods/_search
{
  "query": {
    "match_all": {}
  },
  "from": 0,
  "size": 1
}



高亮显示


POST goods/_search
{
  "query": {
    "match": {
      "title": "手机"
    }
  },
  "highlight": {
    "fields": {
      "title": {
        "pre_tags": [
          "<font color='red'>"
        ],
        "post_tags": [
          "</font>"
        ]
      }
    }
  }
}


1.5 数据聚合


聚合常见的有三类:


- 桶(Bucket)聚合:用来对文档做分组

 - TermAggregation:按照文档字段值分组,例如按照品牌值分组、按照国家分组

 - Date Histogram:按照日期阶梯分组,例如一周为一组,或者一月为一组


- 度量(Metric)聚合:用以计算一些值,比如:最大值、最小值、平均值等

 - Avg:求平均值

 - Max:求最大值

 - Min:求最小值

 - Stats:同时求max、min、avg、sum等

- 管道(pipeline)聚合:其它聚合的结果为基础做聚合


统计所有数据中的品牌有几种,按照品牌对数据分组。


GET /goods/_search
{
  "size": 0,  //设置size为0,结果中不包含文档,只包含聚合结果
  "aggs": { // 定义聚合
    "brandAgg": { //给聚合起个名字
      "terms": { // 聚合的类型,按照品牌值聚合,所以选择term
        "field": "brandName", // 参与聚合的字段
        "size": 20 // 希望获取的聚合结果数量
      }
    }
  }
}


/

对于每个品牌的聚合限定聚合范围,并且根据Bucket内的文档数量进行升序排序


GET /goods/_search
{
  "query": {
    "range": {
      "stock": {
        "gte": 10
      }
    }
  }, 
  "size": 0,  //设置size为0,结果中不包含文档,只包含聚合结果
  "aggs": { // 定义聚合
    "brandAgg": { //给聚合起个名字
      "terms": { // 聚合的类型,按照品牌值聚合,所以选择term
        "field": "brandName", // 参与聚合的字段
        "size": 20, // 希望获取的聚合结果数量
         "order": {
          "_count": "asc"
        }
      }
    }
  }
}



按照品牌分组,形成了一个个桶。对桶内的数据做运算,获取每个品牌的stock的min、max、avg等值。


GET /goods/_search
{
  "query": {
    "range": {
      "stock": {
        "gte": 10
      }
    }
  }, 
  "size": 0,  
  "aggs": { 
    "brandAgg": {
      "terms": {
        "field": "brandName", 
        "size": 20, 
         "order": {
          "_count": "asc"
        }
      },
      "aggs": {
        "stock_status": {
          "stats": {
            "field": "stock"
          }
        }
      }
    }
  }
}


相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
8月前
|
Web App开发 自然语言处理 API
巧记Elasticsearch常用DSL语法
记知识先记轮廓,关于DSL语法的轮廓,记住以下3句话即可:1.索引、文档和查询。2.Match、Term和Bool。3.还有翻页和聚合
巧记Elasticsearch常用DSL语法
|
1月前
|
SQL Java 关系型数据库
spring data elasticsearch 打印sql(DSL)语句
spring data elasticsearch 打印sql(DSL)语句
234 0
|
7月前
|
JSON 自然语言处理 数据格式
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
分布式系列教程(33) -ElasticSearch DSL语言查询与过滤
162 0
|
1月前
|
JSON 自然语言处理 算法
【Elasticsearch】DSL查询文档
【Elasticsearch】DSL查询文档
326 0
|
10月前
|
存储 JSON 物联网
【Elasticsearch】学好Elasticsearch系列-Query DSL 1
【Elasticsearch】学好Elasticsearch系列-Query DSL
80 0
|
1月前
|
Java 索引
ElasticSearch DSL操作
ElasticSearch DSL操作
84 1
|
1月前
dsl语句查询elasticsearch集群节点分布和资源使用情况
dsl语句查询elasticsearch集群节点分布和资源使用情况
124 0
|
1月前
elasticsearch7.x kibana的常用DSL(自己练习的)
elasticsearch7.x kibana的常用DSL(自己练习的)
|
9月前
|
SQL 关系型数据库 索引
Elasticsearch查询时还在百度DSL语句吗?你可能需要这份总结
Elasticsearch查询时还在百度DSL语句吗?你可能需要这份总结
|
10月前
|
存储 SQL 缓存