使用了ElasticSearch之后,公司系统查询速度快了50倍,工资直接翻一倍

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 使用了ElasticSearch之后,公司系统查询速度快了50倍,工资直接翻一倍

公司的OA系统在查询我发起的流程的功能的时候需要从Activiti的表中去查询数据的

e8c0e8fd83434f3ba7011309a223f8e9.png


这就会导致一个问题,当数据量越来越大的时候,我们的接口的响应速度就会越来越慢

92fd323675864408972e603b38e93eaf.png

所以我打算重写一下公司的查询流程功能,并且给它来一次系统大升级:可以全文搜索关键字。所以我选择使用了ElasticSearch这个搜索引擎,之前也写过几篇相关于ES的文章,大家可以去看一下:


新年第一天,老板让升级ElasticSearch版本,我说得加钱


同事说关键字查询用Mysql,我上去就是一个高压锅,用ElasticSearch不香吗?


ElasticSearch对标Mysql,谁能拔得头筹?


其实调用es的方法有很多,其中es就提供了java相关的api去使用,但是我这里选择的是使用http的原始方式去操作es。

这里又可以分为几种方式,自己使用原生的http去封装成一个工具类去使用,还有一种如果你们公司用的是SpringCloud的话,就可以使用他的组件Feign去调用es,这样也会更优雅,更高级一点(其实也没有)

@FeignClient(name = "EIP-MAPP-SEARCH-SERVER", url = "${elsearch.url}", fallbackFactory = ElasticHystrix.class)
public interface ElasticSearchApi {
    @PostMapping("/{index}/_doc/{id}")
    Object insertData(@PathVariable(name = "index") String index, @PathVariable(name = "id") String id, @RequestBody JSONObject jsonObject);
    @GetMapping("/{index}/_search")
    Object indexSearch(@PathVariable(name = "index") String index, @RequestBody JSONObject jsonObject);
    @GetMapping("/{aliases}/_search")
    Object aliasesSearch(@PathVariable(name = "aliases") String aliases, @RequestBody JSONObject jsonObject);
    @PutMapping("/{index}")
    Object insertAliases(@PathVariable(name = "index") String index, @RequestBody JSONObject jsonObject);
    @RequestMapping(value = "/{index}",method = RequestMethod.HEAD)
    Object checkIndex(@PathVariable(name = "index") String index);
    @PostMapping("/{index}/_doc/{id}/_update")
    Object updateData(@PathVariable(name = "index") String index, @PathVariable(name = "id") String id, @RequestBody JSONObject jsonObject);
}

然后在yml的配置文件里面配置好es服务器的地址(这个是可以自定义的)

elsearch:
  process:
    enable: true
  url:
    http://10.123.236.106:9200


如果你不知道安装es,请参考我的安装教程:(保姆式教学)


Linux安装ElasticSearch以及Ik分词器(图文解说详细版)


这里好了之后我们就可以在业务中进行数据的插入了,有了数据之后我们自然可以进行查询,但是由于我这里使用的是JsonObject的方式去作为传参,所以我们在查询的时候就需要把他封装成最原始的参数去传参,就像我下面的两个例子一样


封装方法

 private ResultUtils getResultUtils(PageRequestDTO<OAElasticSearchParamDto> pageRequestDTO, String type, String queryParam) {
        JSONObject jsonObject = getPage(pageRequestDTO);
        //查询参数
        OAElasticSearchParamDto params = pageRequestDTO.getParams();
        String keyWord = params.getKeyWord();
        //提交审批、完成审批时间
        List<ColumnOption> optionList = pageRequestDTO.getOptionList();
        JSONArray timeList = new JSONArray();
        if (!optionList.isEmpty()) {
            timeList = getTimeList(optionList);
        }
        //根据关键字查询
        JSONObject elasticMatch = null;
        if (!StringUtils.isEmpty(keyWord)) {
            elasticMatch = getJsonObject(keyWord, "elasticData", "match");
        }
        //查询我发起的
        UserInfoDTO user = UserUtils.getActiveUser().getUser();
        String userId = user.getPsnCode();
        if ("handledUser".equals(type)) {
            userId = "*" + userId + "*";
        }
        JSONObject myStartMatch = getJsonObject(userId, type, queryParam);
        //任务状态
        return getResultUtils(pageRequestDTO, jsonObject, params, elasticMatch, myStartMatch, timeList);
    }


封装方法

private ResultUtils getResultUtils(PageRequestDTO<OAElasticSearchParamDto> pageRequestDTO, JSONObject jsonObject,
                                       OAElasticSearchParamDto params, JSONObject elasticMatch, JSONObject myHandleJson, JSONArray timeList) {
        String taskStatus = pageRequestDTO.getParams().getTaskStatus();
        //组合查询
        JSONArray mustJsonArray = new JSONArray();
        mustJsonArray.add(elasticMatch);
        mustJsonArray.add(myHandleJson);
        mustJsonArray.addAll(timeList);
        if (!StringUtils.isEmpty(taskStatus)) {
            JSONObject taskStatusMatch = getJsonObject(taskStatus, "taskStatus", "match");
            mustJsonArray.add(taskStatusMatch);
        }
        JSONObject mustJson = new JSONObject();
        mustJson.put("must", mustJsonArray);
        // "bool"封装
        JSONObject boolJson = new JSONObject();
        boolJson.put("bool", mustJson);
        jsonObject.put("query", boolJson);
        //排除返回字段
        JSONObject excludes = new JSONObject();
        excludes.put("excludes", "elasticData");
        jsonObject.put("_source", excludes);
        //微服务名称
        String serveName = params.getServeName();
        Object search = elasticSearchApi.aliasesSearch(serveName, jsonObject);
        return ResultUtils.success(search);
    }


调用方法

@Override
    public ResultUtils myStart(PageRequestDTO<OAElasticSearchParamDto> pageRequestDTO) {
        return getResultUtils(pageRequestDTO, "taskStartUser", "match");
    }
    /**
     * 我的待办
     *
     * @Param: [pageRequestDTO]
     * @return: com.lydsoft.eip.mapp.common.utils.ResultUtils
     * @Author: MaSiyi
     * @Date: 2022/1/26
     */
    @Override
    public ResultUtils myHandling(PageRequestDTO<OAElasticSearchParamDto> pageRequestDTO) {
        return getResultUtils(pageRequestDTO, "assignee", "match");
    }
    /**
     * 我处理的
     *
     * @Param: [pageRequestDTO]
     * @return: com.lydsoft.eip.mapp.common.utils.ResultUtils
     * @Author: MaSiyi
     * @Date: 2022/1/26
     */
    @Override
    public ResultUtils myHandled(PageRequestDTO<OAElasticSearchParamDto> pageRequestDTO) {
        return getResultUtils(pageRequestDTO, "handledUser", "wildcard");
    }

这里再教大家一个小技巧:idea可以抽取重复的代码片段出来组成一个新的方法,所以我们在写代码的时候可以偷一下懒,把抽取方法交给idea去做。


具体的快捷键是Ctrl+Atl+M


使用了es之后,这几个接口就会直接从es里面去查询数据,我们只需要在新建流程的时候将数据同时存到es中就行了。这样速度就会快很多!!


今天就是这篇文章的总结了,如果你从中学到了一些皮毛,也希望鼓励一下博主,给博主一个点赞收藏加关注,就是博主继续创作的最大动力!!!


相关实践学习
利用Elasticsearch实现地理位置查询
本实验将分别介绍如何使用Elasticsearch7.10版本进行全文检索、多语言检索和地理位置查询三个Elasticsearch基础检索子场景的实现。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
15小时前
|
存储 关系型数据库 MySQL
【Elasticsearch】在es中实现mysql中的FIND_IN_SET查询条件
【Elasticsearch】在es中实现mysql中的FIND_IN_SET查询条件
5 0
|
4天前
|
索引
Elasticsearch 精确查询:术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
Elasticsearch 精确查询:术语查询、多术语查询、主键查询、范围查询、存在查询、前缀查询、正则查询与通配符查询
14 4
|
6天前
|
存储 缓存 Java
掌握Elasticsearch集群参数查询API
掌握Elasticsearch集群参数查询API
|
11天前
|
存储 数据采集 负载均衡
Elasticsearch系列---搜索执行过程及scroll游标查询
Elasticsearch系列---搜索执行过程及scroll游标查询
|
13天前
|
SQL 安全 数据挖掘
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
Elasticsearch聚合查询用于复杂数据分析,包括统计空值率。示例展示了如何计算字段`my_field`非空非零文档的百分比。查询分为三步:总文档数计数、符合条件文档数计数及计算百分比。聚合概念涵盖度量、桶和管道聚合。脚本在聚合中用于动态计算。常见聚合类型如`sum`、`avg`、`date_histogram`等。组合使用可实现多值统计、嵌套聚合和空值率计算。[阅读更多](https://zhangfeidezhu.com/?p=515)
88 0
Elasticsearch如何聚合查询多个统计值,如何嵌套聚合?并相互引用,统计索引中某一个字段的空值率?语法是怎么样的?
|
2月前
|
运维 数据挖掘 Serverless
阿里云Elasticsearch Serverless助力某电商平台公司实现商品订单数据的实时写入查询
某电商平台公司采用阿里云Elasticsearch Serverless解决方案,实现商品、订单和其他关键信息的写入和查询的实时响应。
234 1
|
2月前
|
搜索推荐 Java 数据库
springboot集成ElasticSearch的具体操作(系统全文检索)
springboot集成ElasticSearch的具体操作(系统全文检索)
|
2月前
|
存储 SQL 运维
Elasticsearch 查询革新:探索 Wildcard 类型的高效模糊匹配策略
Elasticsearch 查询革新:探索 Wildcard 类型的高效模糊匹配策略
64 0
|
2月前
|
运维 测试技术 数据处理
Elasticsearch 优化查询中获取字段内容的方式,性能提升5倍!
Elasticsearch 优化查询中获取字段内容的方式,性能提升5倍!
31 0
|
2月前
|
存储 缓存 Java
Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
Elasticsearch 8.X 聚合查询下的精度问题及其解决方案
42 0