全文检索工具elasticsearch:第四章:开发电商的搜索列表功能

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 全文检索工具elasticsearch:第四章:开发电商的搜索列表功能

1、功能简介

1.1入口: 两个

首页的分类

 

搜索栏


  列表展示页面

2 根据业务搭建数据结构

这时我们要思考三个问题:


  1. 哪些字段需要分词
  2. 我们用哪些字段进行过滤
  3. 哪些字段我们需要通过搜索显示出来。

   

需要分词的字段

sku名称  sku描述

分词、定义分词器

有可能用于过滤的字段

平台属性、三级分类、价格

要索引

其他需要显示的字段

skuId  图片路径

不索引

第一种方式:

根据以上制定出如下结构:

执行:

PUT gmall
{
  "mappings": {
    "SkuInfo":{
      "properties": {
        "id":{
          "type": "keyword"
          , "index": false
        },
        "price":{
          "type": "double"
        },
         "skuName":{
          "type": "text",
          "analyzer": "ik_max_word"
        },
        "skuDesc":{
          "type": "text",
          "analyzer": "ik_smart"
        },
        "catalog3Id":{
          "type": "keyword"
        },
        "skuDefaultImg":{
          "type": "keyword",
          "index": false
        },
        "skuAttrValueList":{
          "properties": {
            "valueId":{
              "type":"keyword"
            }
          }
        }
      }
    }
  }
}

查看:

GET /gmall

结果:

{
  "gmall": {
    "aliases": {},
    "mappings": {
      "SkuLsInfo": {
        "properties": {
          "catalog3Id": {
            "type": "keyword"
          },
          "hotScore": {
            "type": "double"
          },
          "id": {
            "type": "keyword",
            "index": false
          },
          "price": {
            "type": "double"
          },
          "skuAttrValueList": {
            "properties": {
              "attrId": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "id": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "skuId": {
                "type": "text",
                "fields": {
                  "keyword": {
                    "type": "keyword",
                    "ignore_above": 256
                  }
                }
              },
              "valueId": {
                "type": "keyword"
              }
            }
          },
          "skuDefaultImg": {
            "type": "keyword",
            "index": false
          },
          "skuDesc": {
            "type": "text",
            "analyzer": "ik_smart"
          },
          "skuName": {
            "type": "text",
            "analyzer": "ik_max_word"
          }
        }
      }
    },
    "settings": {
      "index": {
        "creation_date": "1548161868908",
        "number_of_shards": "5",
        "number_of_replicas": "1",
        "uuid": "1ZSLxTDOScubSqhf2c18rQ",
        "version": {
          "created": "5060499"
        },
        "provided_name": "gmall"
      }
    }
  }
}

执行测试类:

@RunWith(SpringRunner.class)
@SpringBootTest
public class GmallListServiceApplicationTests {
    @Autowired
    JestClient jestClient;
    @Reference
    SkuService skuService;
    @Test
    public void test02() throws IOException {
        // 查询sku表中的所有数据skuInfo
        List<SkuInfo> skuInfos = skuService.SkuListByCatalog3Id("4");
        // skuInfo转化成skuLsInfo
        for (SkuInfo skuInfo : skuInfos) {
            SkuLsInfo skuLsInfo = new SkuLsInfo();
            BeanUtils.copyProperties(skuInfo,skuLsInfo);
            // 将skuLsInfo导入到es中
            Index index = new Index.Builder(skuLsInfo).index("gmall").type("SkuLsInfo").id(skuLsInfo.getId()).build();
            jestClient.execute(index);
        }
    }
}
    @Override
    public List<SkuInfo> SkuListByCatalog3Id(String catalog3Id) {
        SkuInfo skuInfo = new SkuInfo();
        skuInfo.setCatalog3Id(catalog3Id);
        List<SkuInfo> skuInfos = skuInfoMapper.select(skuInfo);
        for (SkuInfo info : skuInfos) {
            SkuAttrValue skuAttrValue = new SkuAttrValue();
            skuAttrValue.setSkuId(info.getId());
            List<SkuAttrValue> skuAttrValues = skuAttrValueMapper.select(skuAttrValue);
            info.setSkuAttrValueList(skuAttrValues);
        }
        return skuInfos;
    }

再次查看

GET /gmall/SkuLsInfo/_search

数据库中的数据就出来了

{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": 4,
    "max_score": 1,
    "hits": [
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "105",
        "_score": 1,
        "_source": {
          "id": "105",
          "price": 1000,
          "skuName": "360手机",
          "skuDesc": "360N5,360N6",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFxF1V6AeGnrAAB0eitaW6M234.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "770",
              "attrId": "39",
              "valueId": "90",
              "skuId": "105"
            },
            {
              "id": "771",
              "attrId": "40",
              "valueId": "90",
              "skuId": "105"
            },
            {
              "id": "772",
              "attrId": "41",
              "valueId": "90",
              "skuId": "105"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "101",
        "_score": 1,
        "_source": {
          "id": "101",
          "price": 5000,
          "skuName": "三体的sku",
          "skuDesc": "三体的sku描述",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFw_4VOAD-e4AACOjs59iN8474.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "751",
              "attrId": "39",
              "valueId": "91",
              "skuId": "101"
            },
            {
              "id": "752",
              "attrId": "40",
              "valueId": "91",
              "skuId": "101"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "106",
        "_score": 1,
        "_source": {
          "id": "106",
          "price": 2000,
          "skuName": "华为手机",
          "skuDesc": "华为荣耀",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFxF1WWAOA3hAADKNM6pL68983.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "773",
              "attrId": "39",
              "valueId": "90",
              "skuId": "106"
            },
            {
              "id": "774",
              "attrId": "40",
              "valueId": "90",
              "skuId": "106"
            },
            {
              "id": "775",
              "attrId": "41",
              "valueId": "90",
              "skuId": "106"
            }
          ]
        }
      },
      {
        "_index": "gmall",
        "_type": "SkuLsInfo",
        "_id": "102",
        "_score": 1,
        "_source": {
          "id": "102",
          "price": 55555,
          "skuName": "三体第二部的sku名称",
          "skuDesc": "三体第耳部的sku描述",
          "catalog3Id": "4",
          "skuDefaultImg": "http://192.168.0.100/group1/M00/00/00/wKgAZFw_4VOAD-e4AACOjs59iN8474.jpg",
          "hotScore": 0,
          "skuAttrValueList": [
            {
              "id": "753",
              "attrId": "39",
              "valueId": "91",
              "skuId": "102"
            },
            {
              "id": "754",
              "attrId": "40",
              "valueId": "91",
              "skuId": "102"
            }
          ]
        }
      }
    ]
  }
}

第二种方式:

之前已经将数据库中的数据保存到es中了,就可以用这种

  @Test
    public void contextLoads() throws IOException {
        // 查询
        String dsl = getMyDsl();
        System.out.print(dsl);
        Search build = new Search.Builder(dsl).addIndex("gmall0906").addType("SkuLsInfo").build();
        SearchResult execute = jestClient.execute(build);
        List<SearchResult.Hit<SkuLsInfo, Void>> hits = execute.getHits(SkuLsInfo.class);
        List<SkuLsInfo> skuLsInfos = new ArrayList<>();
        for (SearchResult.Hit<SkuLsInfo, Void> hit : hits) {
            SkuLsInfo source = hit.source;
            skuLsInfos.add(source);
        }
        System.out.println(skuLsInfos.size());
    }
    public String getMyDsl() {
        // 查询语句封装
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        // 联合查询
        BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();
/*        TermQueryBuilder termQueryBuilder = new TermQueryBuilder(null, null);
        boolQueryBuilder.filter(termQueryBuilder);*/
        //分词查询:按skuName中有0725查询
        MatchQueryBuilder matchQueryBuilder = new MatchQueryBuilder("skuName", "华为");
        boolQueryBuilder.must(matchQueryBuilder);
        searchSourceBuilder.query(boolQueryBuilder);
        //高亮
        HighlightBuilder highlightBuilder = new HighlightBuilder();
        highlightBuilder.field("skuName");
        searchSourceBuilder.highlight(highlightBuilder);
        return searchSourceBuilder.toString();
    }
相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
1月前
|
存储 监控 API
Elasticsearch 8.X Rollup 功能详解及避坑指南
Elasticsearch 8.X Rollup 功能详解及避坑指南
29 0
|
15天前
|
运维 监控 数据可视化
cerebro【ElasticSearch可视化工具】
cerebro【ElasticSearch可视化工具】
17 1
|
20天前
|
搜索推荐 开发者
如何在 Elasticsearch 中选择精确 kNN 搜索和近似 kNN 搜索
【6月更文挑战第8天】Elasticsearch 是一款强大的搜索引擎,支持精确和近似 kNN 搜索。精确 kNN 搜索保证高准确性但计算成本高,适用于对精度要求极高的场景。近似 kNN 搜索则通过牺牲部分精度来提升搜索效率,适合大数据量和实时性要求高的情况。开发者应根据业务需求和数据特性权衡选择。随着技术发展,kNN 搜索将在更多领域发挥关键作用。
29 4
|
21天前
|
存储 安全 数据管理
如何在 Rocky Linux 8 上安装和配置 Elasticsearch,帮助你快速搭建起这个强大的工具
【6月更文挑战第7天】本文档详细介绍了如何在Rocky Linux 8上安装和配置Elasticsearch,首先通过添加Elasticsearch仓库并使用yum安装。接着,配置Elasticsearch,包括修改`elasticsearch.yml`、设置内存和文件描述符,以及可选的安全设置。启动Elasticsearch后,通过验证日志和测试连接确保其正常运行。文章还列举了常见问题及解决方法,如启动失败、内存不足和网络问题。按照这些步骤,用户可以在Rocky Linux 8上成功部署Elasticsearch,为数据管理与分析提供强大支持。
35 5
|
1天前
|
缓存 Java API
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
在生产环境中部署Elasticsearch:最佳实践和故障排除技巧——聚合与搜索(三)
|
2天前
|
存储 自然语言处理 NoSQL
D7 Elasticsearch-Mongodb(搜索记录)
D7 Elasticsearch-Mongodb(搜索记录)
5 0
|
7天前
|
存储 数据采集 负载均衡
Elasticsearch系列---搜索执行过程及scroll游标查询
Elasticsearch系列---搜索执行过程及scroll游标查询
|
1月前
|
存储 自然语言处理 搜索推荐
分布式搜索引擎ElasticSearch
Elasticsearch是一款强大的开源搜索引擎,用于快速搜索和数据分析。它在GitHub、电商搜索、百度搜索等场景中广泛应用。Elasticsearch是ELK(Elasticsearch、Logstash、Kibana)技术栈的核心,用于存储、搜索和分析数据。它基于Apache Lucene构建,提供分布式搜索能力。相比其他搜索引擎,如Solr,Elasticsearch更受欢迎。倒排索引是其高效搜索的关键,通过将词条与文档ID关联,实现快速模糊搜索,避免全表扫描。
109 5
|
1月前
|
搜索推荐 Java 数据库
springboot集成ElasticSearch的具体操作(系统全文检索)
springboot集成ElasticSearch的具体操作(系统全文检索)
|
1月前
|
SQL 监控 搜索推荐
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
Elasticsearch 与 OpenSearch:开源搜索技术的演进与选择
113 2