全文检索工具elasticsearch:第四章:开发电商的搜索列表功能

简介: 全文检索工具elasticsearch:第四章:开发电商的搜索列表功能

1、功能简介

1.1入口: 两个

首页的分类

 

搜索栏


  列表展示页面

2 根据业务搭建数据结构

这时我们要思考三个问题:


  1. 哪些字段需要分词
  2. 我们用哪些字段进行过滤
  3. 哪些字段我们需要通过搜索显示出来。

   

需要分词的字段

sku名称  sku描述

分词、定义分词器

有可能用于过滤的字段

平台属性、三级分类、价格

要索引

其他需要显示的字段

skuId  图片路径

不索引

第一种方式:

根据以上制定出如下结构:

执行:

PUT gmall
{
  "mappings": {
    "SkuInfo":{
      "properties": {
        "id":{
          "type": "keyword"
          , "index": false
        },
        "price":{
          "type": "double"
        },
         "skuName":{
          "type": "text",
          "analyzer": "ik_max_word"
        },
        "skuDesc":{
          "type": "text",
          "analyzer": "ik_smart"
        },
        "catalog3Id":{
          "type": "keyword"
        },
        "skuDefaultImg":{
          "type": "keyword",
          "index": false
        },
        "skuAttrValueList":{
          "properties": {
            "valueId":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}

查看:

GET /gmall

结果:

{
  "gmall": {
    "aliases": {},
    "mappings": {
      "SkuLsInfo": {
        "properties": {
          "catalog3Id": {
            "type": "keyword"
          },
          "hotScore": {
            "type": "double"
          },
          "id": {
            "type": "keyword",
            "index": false
          },
          "price": {
            "type": "double"
          },
          "skuAttrValueList": {
            "properties": {
              "attrId": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "id": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "skuId": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "valueId": {
                "type": "keyword"
              }
            }
          },
          "skuDefaultImg": {
            "type": "keyword",
            "index": false
          },
          "skuDesc": {
            "type": "text",
            "analyzer": "ik_smart"
          },
          "skuName": {
            "type": "text",
            "analyzer": "ik_max_word"
          }
        }
      }
    },
    "settings": {
      "index": {
        "creation_date": "1548161868908",
        "number_of_shards": "5",
        "number_of_replicas": "1",
        "uuid": "1ZSLxTDOScubSqhf2c18rQ",
        "version": {
          "created": "5060499"
        },
        "provided_name": "gmall"
      }
    }
  }
}

执行测试类:

@RunWith(SpringRunner.class)
@SpringBootTest
public class GmallListServiceApplicationTests {
    @Autowired
    JestClient jestClient;
    @Reference
    SkuService skuService;
    @Test
    public void test02() throws IOException {
        // 查询sku表中的所有数据skuInfo
        List<SkuInfo> skuInfos = skuService.SkuListByCatalog3Id("4");
        // skuInfo转化成skuLsInfo
        for (SkuInfo skuInfo : skuInfos) {
            SkuLsInfo skuLsInfo = new SkuLsInfo();
            BeanUtils.copyProperties(skuInfo,skuLsInfo);
            // 将skuLsInfo导入到es中
            Index index = new Index.Builder(skuLsInfo).index("gmall").type("SkuLsInfo").id(skuLsInfo.getId()).build();
            jestClient.execute(index);
        }
    }
}
    @Override
    public List<SkuInfo> SkuListByCatalog3Id(String catalog3Id) {
        SkuInfo skuInfo = new SkuInfo();
        skuInfo.setCatalog3Id(catalog3Id);
        List<SkuInfo> skuInfos = skuInfoMapper.select(skuInfo);
        for (SkuInfo info : skuInfos) {
            SkuAttrValue skuAttrValue = new SkuAttrValue();
            skuAttrValue.setSkuId(info.getId());
            List<SkuAttrValue> skuAttrValues = skuAttrValueMapper.select(skuAttrValue);
            info.setSkuAttrValueList(skuAttrValues);
        }
        return skuInfos;
    }

再次查看

GET /gmall/SkuLsInfo/_search

数据库中的数据就出来了

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 1,
    "hits": [
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "105",
        "_score": 1,
        "_source": {
          "id": "105",
          "price": 1000,
          "skuName": "360手机",
          "skuDesc": "360N5,360N6",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFxF1V6AeGnrAAB0eitaW6M234.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "770",
              "attrId": "39",
              "valueId": "90",
              "skuId": "105"
            },
            {
              "id": "771",
              "attrId": "40",
              "valueId": "90",
              "skuId": "105"
            },
            {
              "id": "772",
              "attrId": "41",
              "valueId": "90",
              "skuId": "105"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "101",
        "_score": 1,
        "_source": {
          "id": "101",
          "price": 5000,
          "skuName": "三体的sku",
          "skuDesc": "三体的sku描述",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFw_4VOAD-e4AACOjs59iN8474.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "751",
              "attrId": "39",
              "valueId": "91",
              "skuId": "101"
            },
            {
              "id": "752",
              "attrId": "40",
              "valueId": "91",
              "skuId": "101"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "106",
        "_score": 1,
        "_source": {
          "id": "106",
          "price": 2000,
          "skuName": "华为手机",
          "skuDesc": "华为荣耀",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFxF1WWAOA3hAADKNM6pL68983.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "773",
              "attrId": "39",
              "valueId": "90",
              "skuId": "106"
            },
            {
              "id": "774",
              "attrId": "40",
              "valueId": "90",
              "skuId": "106"
            },
            {
              "id": "775",
              "attrId": "41",
              "valueId": "90",
              "skuId": "106"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "102",
        "_score": 1,
        "_source": {
          "id": "102",
          "price": 55555,
          "skuName": "三体第二部的sku名称",
          "skuDesc": "三体第耳部的sku描述",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFw_4VOAD-e4AACOjs59iN8474.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "753",
              "attrId": "39",
              "valueId": "91",
              "skuId": "102"
            },
            {
              "id": "754",
              "attrId": "40",
              "valueId": "91",
              "skuId": "102"
            }
          ]
        }
      }
    ]
  }
}

第二种方式:

之前已经将数据库中的数据保存到es中了,就可以用这种

  @Test
    public void contextLoads() throws IOException {
        // 查询
        String dsl = getMyDsl();
        System.out.print(dsl);
        Search build = new Search.Builder(dsl).addIndex("gmall0906").addType("SkuLsInfo").build();
        SearchResult execute = jestClient.execute(build);
        List<SearchResult.Hit<SkuLsInfo, Void>> hits = execute.getHits(SkuLsInfo.class);
        List<SkuLsInfo> skuLsInfos = new ArrayList<>();
        for (SearchResult.Hit<SkuLsInfo, Void> hit : hits) {
            SkuLsInfo source = hit.source;
            skuLsInfos.add(source);
        }
        System.out.println(skuLsInfos.size());
    }
    public String getMyDsl() {
        // 查询语句封装
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        // 联合查询
        BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
/*        TermQueryBuilder termQueryBuilder = new TermQueryBuilder(null, null);
        boolQueryBuilder.filter(termQueryBuilder);*/
        //分词查询:按skuName中有0725查询
        MatchQueryBuilder matchQueryBuilder = new MatchQueryBuilder("skuName", "华为");
        boolQueryBuilder.must(matchQueryBuilder);
        searchSourceBuilder.query(boolQueryBuilder);
        //高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.field("skuName");
        searchSourceBuilder.highlight(highlightBuilder);
        return searchSourceBuilder.toString();
    }
相关实践学习
以电商场景为例搭建AI语义搜索应用
本实验旨在通过阿里云Elasticsearch结合阿里云搜索开发工作台AI模型服务,构建一个高效、精准的语义搜索系统,模拟电商场景,深入理解AI搜索技术原理并掌握其实现过程。
ElasticSearch 最新快速入门教程
本课程由千锋教育提供。全文搜索的需求非常大。而开源的解决办法Elasricsearch(Elastic)就是一个非常好的工具。目前是全文搜索引擎的首选。本系列教程由浅入深讲解了在CentOS7系统下如何搭建ElasticSearch,如何使用Kibana实现各种方式的搜索并详细分析了搜索的原理,最后讲解了在Java应用中如何集成ElasticSearch并实现搜索。 &nbsp;
相关文章
|
6月前
|
缓存 监控 前端开发
顺企网 API 开发实战:搜索 / 详情接口从 0 到 1 落地(附 Elasticsearch 优化 + 错误速查)
企业API开发常陷参数、缓存、错误处理三大坑?本指南拆解顺企网双接口全流程,涵盖搜索优化、签名验证、限流应对,附可复用代码与错误速查表,助你2小时高效搞定开发,提升响应速度与稳定性。
|
6月前
|
存储 Linux iOS开发
Elasticsearch Enterprise 9.1.5 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.1.5 (macOS, Linux, Windows) - 分布式搜索和分析引擎
506 0
|
7月前
|
JSON 监控 Java
Elasticsearch 分布式搜索与分析引擎技术详解与实践指南
本文档全面介绍 Elasticsearch 分布式搜索与分析引擎的核心概念、架构设计和实践应用。作为基于 Lucene 的分布式搜索引擎,Elasticsearch 提供了近实时的搜索能力、强大的数据分析功能和可扩展的分布式架构。本文将深入探讨其索引机制、查询 DSL、集群管理、性能优化以及与各种应用场景的集成,帮助开发者构建高性能的搜索和分析系统。
515 0
|
11月前
|
存储 安全 Linux
Elasticsearch Enterprise 9.0 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 9.0 (macOS, Linux, Windows) - 分布式搜索和分析引擎
472 0
|
11月前
|
存储 Linux iOS开发
Elasticsearch Enterprise 8.18 发布 - 分布式搜索和分析引擎
Elasticsearch Enterprise 8.18 (macOS, Linux, Windows) - 分布式搜索和分析引擎
419 0
|
人工智能 自然语言处理 搜索推荐
云端问道12期实操教学-构建基于Elasticsearch的企业级AI搜索应用
本文介绍了构建基于Elasticsearch的企业级AI搜索应用,涵盖了从传统关键词匹配到对话式问答的搜索形态演变。阿里云的AI搜索产品依托自研和开源(如Elasticsearch)引擎,提供高性能检索服务,支持千亿级数据毫秒响应。文章重点描述了AI搜索的三个核心关键点:精准结果、语义理解、高性能引擎,并展示了架构升级和典型应用场景,包括智能问答、电商导购、多模态图书及商品搜索等。通过实验部分,详细演示了如何使用阿里云ES搭建AI语义搜索Demo,涵盖模型创建、Pipeline配置、数据写入与检索测试等步骤,同时介绍了相关的计费模式。
469 3
|
人工智能 算法 API
构建基于 Elasticsearch 的企业级 AI 搜索应用
本文介绍了基于Elasticsearch构建企业级AI搜索应用的方案,重点讲解了RAG(检索增强生成)架构的实现。通过阿里云上的Elasticsearch AI搜索平台,简化了知识库文档抽取、文本切片等复杂流程,并结合稠密和稀疏向量的混合搜索技术,提升了召回和排序的准确性。此外,还探讨了Elastic的向量数据库优化措施及推理API的应用,展示了如何在云端高效实现精准的搜索与推理服务。未来将拓展至多模态数据和知识图谱,进一步提升RAG效果。
563 1
|
安全 Java Linux
Linux安装Elasticsearch详细教程
Linux安装Elasticsearch详细教程
2127 64
|
11月前
|
JSON 安全 数据可视化
Elasticsearch(es)在Windows系统上的安装与部署(含Kibana)
Kibana 是 Elastic Stack(原 ELK Stack)中的核心数据可视化工具,主要与 Elasticsearch 配合使用,提供强大的数据探索、分析和展示功能。elasticsearch安装在windows上一般是zip文件,解压到对应目录。文件,elasticsearch8.x以上版本是自动开启安全认证的。kibana安装在windows上一般是zip文件,解压到对应目录。elasticsearch的默认端口是9200,访问。默认用户是elastic,密码需要重置。
5831 0
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch
本文详细介绍了在 Rocky Linux 8 上安装和配置 Elasticsearch 的步骤,包括添加仓库、安装 Elasticsearch、配置文件修改、设置内存和文件描述符、启动和验证 Elasticsearch,以及常见问题的解决方法。通过这些步骤,你可以快速搭建起这个强大的分布式搜索和分析引擎。
633 5