41-微服务技术栈(高级):分布式搜索引擎ElasticSearch(RestClient文档处理[搜索/分页/高亮/地理坐标])

本文涉及的产品
注册配置 MSE Nacos/ZooKeeper,118元/月
云原生网关 MSE Higress,422元/月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 在前面的学习中,笔者带领大家完成海量数据导入ES,实现了ES基本的存储功能,但是我们知道ES最擅长的还是搜索、数据分析。所以本节笔者将继续带领大家研究一下ES的数据搜索功能,同上节一样,继续分别采用DSL和RestClient实现搜索。

文档的查询同样适用昨天学习的 RestHighLevelClient对象,基本步骤包括:

  • 1)准备Request对象
  • 2)准备请求参数
  • 3)发起请求
  • 4)解析响应

1.快速入门

我们以match_all查询为例

1.1.发起查询请求

代码解读:

  • 第一步,创建SearchRequest对象,指定索引库名
  • 第二步,利用request.source()构建DSL,DSL中可以包含查询、分页、排序、高亮等
  • query():代表查询条件,利用QueryBuilders.matchAllQuery()构建一个match_all查询的DSL
  • 第三步,利用client.search()发送请求,得到响应

这里关键的API有两个,一个是request.source(),其中包含了查询、排序、分页、高亮等所有功能:

另一个是QueryBuilders,其中包含match、term、function_score、bool等各种查询:

1.2.解析响应

响应结果的解析:

elasticsearch返回的结果是一个JSON字符串,结构包含:

  • hits:命中的结果
  • total:总条数,其中的value是具体的总条数值
  • max_score:所有结果中得分最高的文档的相关性算分
  • hits:搜索结果的文档数组,其中的每个文档都是一个json对象
  • _source:文档中的原始数据,也是json对象

因此,我们解析响应结果,就是逐层解析JSON字符串,流程如下:

  • SearchHits:通过response.getHits()获取,就是JSON中的最外层的hits,代表命中的结果
  • SearchHits#getTotalHits().value:获取总条数信息
  • SearchHits#getHits():获取SearchHit数组,也就是文档数组
  • SearchHit#getSourceAsString():获取文档结果中的_source,也就是原始的json文档数据

1.3.完整代码

完整代码如下:

@Test

void testMatchAll() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchAllQuery());

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);


   // 4.解析响应

   handleResponse(response);

}


private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

1.4.小结

查询的基本步骤是:

  1. 创建SearchRequest对象
  2. 准备Request.source(),也就是DSL。
    ① QueryBuilders来构建查询条件
    ② 传入Request.source() 的 query() 方法
  3. 发送请求,得到结果
  4. 解析结果(参考JSON结果,从外到内,逐层解析)

2.match查询

全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件,也就是query的部分。

网络异常,图片无法展示
|

因此,Java代码上的差异主要是request.source().query()中的参数了。同样是利用QueryBuilders提供的方法:

而结果解析代码则完全一致,可以抽取并共享。完整代码如下:

@Test

void testMatch() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   request.source()

       .query(QueryBuilders.matchQuery("all", "如家"));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);

}

3.精确查询

精确查询主要是两者:

  • term:词条精确匹配
  • range:范围查询

与之前的查询相比,差异同样在查询条件,其它都一样。查询条件构造的API如下:

4.布尔查询

布尔查询是用must、must_not、filter等方式组合其它查询,代码示例如下:

可以看到,API与其它查询的差别同样是在查询条件的构建,QueryBuilders,结果解析等其他代码完全不变。完整代码如下:

@Test

void testBool() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.准备BooleanQuery

   BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();

   // 2.2.添加term

   boolQuery.must(QueryBuilders.termQuery("city", "杭州"));

   // 2.3.添加range

   boolQuery.filter(QueryBuilders.rangeQuery("price").lte(250));


   request.source().query(boolQuery);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

5.排序、分页

搜索结果的排序和分页是与query同级的参数,因此同样是使用request.source()来设置。对应的API如下:

完整代码示例:

@Test

void testPageAndSort() throws IOException {

   // 页码,每页大小

   int page = 1, size = 5;


   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchAllQuery());

   // 2.2.排序 sort

   request.source().sort("price", SortOrder.ASC);

   // 2.3.分页 from、size

   request.source().from((page - 1) * size).size(5);

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.高亮

高亮的代码与之前代码差异较大,有两点:

  • 查询的DSL:其中除了查询条件,还需要添加高亮条件,同样是与query同级。
  • 结果解析:结果除了要解析_source文档数据,还要解析高亮结果

6.1.高亮请求构建

高亮请求的构建API如下:

上述代码省略了查询条件部分,但是大家不要忘了:高亮查询必须使用全文检索查询,并且要有搜索关键字,将来才可以对关键字高亮。完整代码如下:

@Test

void testHighlight() throws IOException {

   // 1.准备Request

   SearchRequest request = new SearchRequest("hotel");

   // 2.准备DSL

   // 2.1.query

   request.source().query(QueryBuilders.matchQuery("all", "如家"));

   // 2.2.高亮

   request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));

   // 3.发送请求

   SearchResponse response = client.search(request, RequestOptions.DEFAULT);

   // 4.解析响应

   handleResponse(response);


}

6.2.高亮结果解析

高亮的结果与查询的文档结果默认是分离的,并不在一起。

因此解析高亮的代码需要额外处理:

代码解读:

  • 第一步:从结果中获取source。hit.getSourceAsString(),这部分是非高亮结果,json字符串。还需要反序列为HotelDoc对象
  • 第二步:获取高亮结果。hit.getHighlightFields(),返回值是一个Map,key是高亮字段名称,值是HighlightField对象,代表高亮值
  • 第三步:从map中根据高亮字段名称,获取高亮字段值对象HighlightField
  • 第四步:从HighlightField中获取Fragments,并且转为字符串。这部分就是真正的高亮字符串了
  • 第五步:用高亮的结果替换HotelDoc中的非高亮结果

完整代码如下:

private void handleResponse(SearchResponse response) {

   // 4.解析响应

   SearchHits searchHits = response.getHits();

   // 4.1.获取总条数

   long total = searchHits.getTotalHits().value;

   System.out.println("共搜索到" + total + "条数据");

   // 4.2.文档数组

   SearchHit[] hits = searchHits.getHits();

   // 4.3.遍历

   for (SearchHit hit : hits) {

       // 获取文档source

       String json = hit.getSourceAsString();

       // 反序列化

       HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class);

       // 获取高亮结果

       Map<String, HighlightField> highlightFields = hit.getHighlightFields();

       if (!CollectionUtils.isEmpty(highlightFields)) {

           // 根据字段名获取高亮结果

           HighlightField highlightField = highlightFields.get("name");

           if (highlightField != null) {

               // 获取高亮值

               String name = highlightField.getFragments()[0].string();

               // 覆盖非高亮结果

               hotelDoc.setName(name);

           }

       }

       System.out.println("hotelDoc = " + hotelDoc);

   }

}

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
存储 JSON 数据库
Elasticsearch 分布式架构解析
【9月更文第2天】Elasticsearch 是一个分布式的搜索和分析引擎,以其高可扩展性和实时性著称。它基于 Lucene 开发,但提供了更高级别的抽象,使得开发者能够轻松地构建复杂的搜索应用。本文将深入探讨 Elasticsearch 的分布式存储和检索机制,解释其背后的原理及其优势。
205 5
|
4月前
|
存储 监控 负载均衡
检索服务elasticsearch分布式结构
【8月更文挑战第22天】
48 3
|
19天前
|
存储 索引
Elasticsearch分布式架构
【11月更文挑战第2天】
23 1
|
3月前
|
自然语言处理 搜索推荐 数据库
高性能分布式搜索引擎Elasticsearch详解
高性能分布式搜索引擎Elasticsearch详解
88 4
高性能分布式搜索引擎Elasticsearch详解
|
2月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
46 1
|
2月前
|
存储 缓存 数据处理
深度解析:Hologres分布式存储引擎设计原理及其优化策略
【10月更文挑战第9天】在大数据时代,数据的规模和复杂性不断增加,这对数据库系统提出了更高的要求。传统的单机数据库难以应对海量数据处理的需求,而分布式数据库通过水平扩展提供了更好的解决方案。阿里云推出的Hologres是一个实时交互式分析服务,它结合了OLAP(在线分析处理)与OLTP(在线事务处理)的优势,能够在大规模数据集上提供低延迟的数据查询能力。本文将深入探讨Hologres分布式存储引擎的设计原理,并介绍一些关键的优化策略。
111 0
|
2月前
|
缓存 关系型数据库 API
京东面试题:ElasticSearch深度分页解决方案!
京东面试题:ElasticSearch深度分页解决方案!
|
18天前
|
设计模式 Java API
微服务架构演变与架构设计深度解析
【11月更文挑战第14天】在当今的IT行业中,微服务架构已经成为构建大型、复杂系统的重要范式。本文将从微服务架构的背景、业务场景、功能点、底层原理、实战、设计模式等多个方面进行深度解析,并结合京东电商的案例,探讨微服务架构在实际应用中的实施与效果。
72 6
|
18天前
|
设计模式 Java API
微服务架构演变与架构设计深度解析
【11月更文挑战第14天】在当今的IT行业中,微服务架构已经成为构建大型、复杂系统的重要范式。本文将从微服务架构的背景、业务场景、功能点、底层原理、实战、设计模式等多个方面进行深度解析,并结合京东电商的案例,探讨微服务架构在实际应用中的实施与效果。
30 1
|
3月前
|
安全 应用服务中间件 API
微服务分布式系统架构之zookeeper与dubbo-2
微服务分布式系统架构之zookeeper与dubbo-2