41-微服务技术栈(高级):分布式搜索引擎ElasticSearch(RestClient文档处理[搜索/分页/高亮/地理坐标])

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 在前面的学习中,笔者带领大家完成海量数据导入ES,实现了ES基本的存储功能,但是我们知道ES最擅长的还是搜索、数据分析。所以本节笔者将继续带领大家研究一下ES的数据搜索功能,同上节一样,继续分别采用DSL和RestClient实现搜索。

文档的查询同样适用昨天学习的 RestHighLevelClient对象,基本步骤包括:

  • 1)准备Request对象
  • 2)准备请求参数
  • 3)发起请求
  • 4)解析响应

1.快速入门

我们以match_all查询为例

1.1.发起查询请求

代码解读:

  • 第一步,创建SearchRequest对象,指定索引库名
  • 第二步,利用request.source()构建DSL,DSL中可以包含查询、分页、排序、高亮等
  • query():代表查询条件,利用QueryBuilders.matchAllQuery()构建一个match_all查询的DSL
  • 第三步,利用client.search()发送请求,得到响应

这里关键的API有两个,一个是request.source(),其中包含了查询、排序、分页、高亮等所有功能:

另一个是QueryBuilders,其中包含match、term、function_score、bool等各种查询:

1.2.解析响应

响应结果的解析:

elasticsearch返回的结果是一个JSON字符串,结构包含:

  • hits:命中的结果
  • total:总条数,其中的value是具体的总条数值
  • max_score:所有结果中得分最高的文档的相关性算分
  • hits:搜索结果的文档数组,其中的每个文档都是一个json对象
  • _source:文档中的原始数据,也是json对象

因此,我们解析响应结果,就是逐层解析JSON字符串,流程如下:

  • SearchHits:通过response.getHits()获取,就是JSON中的最外层的hits,代表命中的结果
  • SearchHits#getTotalHits().value:获取总条数信息
  • SearchHits#getHits():获取SearchHit数组,也就是文档数组
  • SearchHit#getSourceAsString():获取文档结果中的_source,也就是原始的json文档数据

1.3.完整代码

完整代码如下:

@Test

void testMatchAll() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchAllQuery());

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);


   // 4.解析响应

   handleResponse(response);

}


private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

1.4.小结

查询的基本步骤是:

  1. 创建SearchRequest对象
  2. 准备Request.source(),也就是DSL。
    ① QueryBuilders来构建查询条件
    ② 传入Request.source() 的 query() 方法
  3. 发送请求,得到结果
  4. 解析结果(参考JSON结果,从外到内,逐层解析)

2.match查询

全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件,也就是query的部分。

网络异常,图片无法展示
|

因此,Java代码上的差异主要是request.source().query()中的参数了。同样是利用QueryBuilders提供的方法:

而结果解析代码则完全一致,可以抽取并共享。完整代码如下:

@Test

void testMatch() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchQuery("all", "如家"));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);

}

3.精确查询

精确查询主要是两者:

  • term:词条精确匹配
  • range:范围查询

与之前的查询相比,差异同样在查询条件,其它都一样。查询条件构造的API如下:

4.布尔查询

布尔查询是用must、must_not、filter等方式组合其它查询,代码示例如下:

可以看到,API与其它查询的差别同样是在查询条件的构建,QueryBuilders,结果解析等其他代码完全不变。完整代码如下:

@Test

void testBool() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.准备BooleanQuery

   BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();

   // 2.2.添加term

   boolQuery.must(QueryBuilders.termQuery("city", "杭州"));

   // 2.3.添加range

   boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));


   request.source().query(boolQuery);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

5.排序、分页

搜索结果的排序和分页是与query同级的参数,因此同样是使用request.source()来设置。对应的API如下:

完整代码示例:

@Test

void testPageAndSort() throws IOException {

   // 页码,每页大小

   int page = 1, size = 5;


   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchAllQuery());

   // 2.2.排序 sort

   request.source().sort("price", SortOrder.ASC);

   // 2.3.分页 from、size

   request.source().from((page - 1) * size).size(5);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.高亮

高亮的代码与之前代码差异较大,有两点:

  • 查询的DSL:其中除了查询条件,还需要添加高亮条件,同样是与query同级。
  • 结果解析:结果除了要解析_source文档数据,还要解析高亮结果

6.1.高亮请求构建

高亮请求的构建API如下:

上述代码省略了查询条件部分,但是大家不要忘了:高亮查询必须使用全文检索查询,并且要有搜索关键字,将来才可以对关键字高亮。完整代码如下:

@Test

void testHighlight() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchQuery("all", "如家"));

   // 2.2.高亮

   request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.2.高亮结果解析

高亮的结果与查询的文档结果默认是分离的,并不在一起。

因此解析高亮的代码需要额外处理:

代码解读:

  • 第一步:从结果中获取source。hit.getSourceAsString(),这部分是非高亮结果,json字符串。还需要反序列为HotelDoc对象
  • 第二步:获取高亮结果。hit.getHighlightFields(),返回值是一个Map,key是高亮字段名称,值是HighlightField对象,代表高亮值
  • 第三步:从map中根据高亮字段名称,获取高亮字段值对象HighlightField
  • 第四步:从HighlightField中获取Fragments,并且转为字符串。这部分就是真正的高亮字符串了
  • 第五步:用高亮的结果替换HotelDoc中的非高亮结果

完整代码如下:

private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       // 获取高亮结果

       Map<String, HighlightField> highlightFields = hit.getHighlightFields();

       if (!CollectionUtils.isEmpty(highlightFields)) {

           // 根据字段名获取高亮结果

           HighlightField highlightField = highlightFields.get("name");

           if (highlightField != null) {

               // 获取高亮值

               String name = highlightField.getFragments()[0].string();

               // 覆盖非高亮结果

               hotelDoc.setName(name);

           }

       }

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
4天前
|
存储 自然语言处理 搜索推荐
分布式搜索引擎ElasticSearch
Elasticsearch是一款强大的开源搜索引擎,用于快速搜索和数据分析。它在GitHub、电商搜索、百度搜索等场景中广泛应用。Elasticsearch是ELK(Elasticsearch、Logstash、Kibana)技术栈的核心,用于存储、搜索和分析数据。它基于Apache Lucene构建,提供分布式搜索能力。相比其他搜索引擎,如Solr,Elasticsearch更受欢迎。倒排索引是其高效搜索的关键,通过将词条与文档ID关联,实现快速模糊搜索,避免全表扫描。
62 2
|
4天前
|
SQL 监控 搜索推荐
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
36 2
|
4天前
|
人工智能 程序员 开发者
Elasticsearch 中文社区的转型后,搜索人怎么破局?
Elasticsearch 中文社区的转型后,搜索人怎么破局?
15 0
|
4天前
|
存储 机器学习/深度学习 API
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
26 0
高维向量搜索:在 Elasticsearch 8.X 中利用 dense_vector 的实战探索
|
4天前
|
Java Maven 开发工具
【ElasticSearch 】IK 分词器安装
【ElasticSearch 】IK 分词器安装
24 1
|
4天前
|
数据可视化 索引
elasticsearch head、kibana 安装和使用
elasticsearch head、kibana 安装和使用
|
4天前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
115 0
|
4天前
|
Java Windows
windows下 安装 Elasticsearch报错warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
windows下 安装 Elasticsearch报错warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
45 0
|
4天前
|
搜索推荐 Java 大数据
ElasticSearch安装
ElasticSearch安装
|
4天前
|
JSON Unix Linux
Elasticsearch如何安装
Elasticsearch如何安装