电商行业智能搜索技术原理全解析

阿里云开放搜索-电商行业智能搜索解决方案：

https://www.aliyun.com/page-source//data-intelligence/activity/opensearch

一、搜索的业务逻辑

“搜索Query→召回→排序→搜索结果”

  当用户在搜索框输入一个Query时，系统通过对其语义的理解，召回相关文档或商品，在通过算法排序，按客户实际的搜索意图进行前后排序，最终解决其搜索需求，实现业务转化。

其中【召回】与【排序】对搜索引导的业务目标最为重要。

二、自然语言处理技术（NLP）在搜索上的应用

1. 概念介绍

   想实现搜索引擎效果的优化，就一定要对自然语言处理技术有一定的了解，因为用户输入一个Query，从学术角度解读，自然语言智能研究实现了人与计算机之间用语言进行有效通信，它是融合语言学、心理学、计算机科学、数学、统计学于一体的科学。

  自然语言处理被学者誉为”人工智能皇冠上的明珠“，研究覆盖了感知智能、认知智能、创造智能这样的学科，是实现完整人工智能的必要技术。

2. 阿里云达摩院NLP搜索分析路径

三、电商搜索的特点

1. 关键词堆砌

例如：杨幂同款夏季连衣裙包邮。

2. 词序对语义影响不大

例如：杨幂同款女夏季连衣裙包邮；女夏季连衣裙包邮杨幂同款。

3. 类目预测问题

例如：当用户查询“苹果”时，可能查询的是水果，也可能是手机品牌。

4.查询召回文档相关性差

核心词识别不准确，分词不准确

5. 搜索引导的业务转化比重较大

据统计，综合类电商搜索引导转化占比40%以上，垂直类电商搜索引导转化占比60%以上。

6. 稳定性要求较高，支持弹性扩容

活动、大促系统QPS可能是平时的百倍千倍，需要平滑的扩缩容，保障系统的稳定。

四、电商搜索优化核心功能

1. 分词（划重点！）

1.1分词效果的优化直接影响召回数量，减少无结果率，提高搜索召回质量

例如：

“火锅九块九包邮”

• 效果差的分词：“火、锅、九、块、九、包、邮”；“火锅、九、块、九、包邮”
• 开放搜索的分词：“火锅、九块九、包邮”

“925银耳饰“

• 效果差的分词：“925、银耳、银、耳饰”
• 开放搜索的分词：“925、银、耳饰”

1.2不同的分词方式直接影响着参与召回的关键词，从而影响召回的准确性

  目前很多开源自建系统难以实现很好的分词效果，主要原因是训练语料的数据量有限，不足以形成可以不断打磨深耕的行业数据。尤其电商行业商品种类丰富，中文字、词表达的意义多样，多音字、同义词又众多的情况下，靠自身算法工程师和开发团队很难实现快速的解决优化，这是一个不断积累训练的漫长过程。

2. 命名实体识别

2.1电商搜索-实体识别含义

  对电商Query和标题进行实体词打标识别，其中包含品牌、品类、品类修饰、型号、款式等类别；

2.2开放搜索实体识别优势

• 基于淘宝全量数据和知识库深入优化电商行业实体识别能力，解决品牌更新快歧义大，品类存在修饰关系，品牌品类搭配关系等问题；

2.3开放搜索实体识别作用

2.3.1作用于query改写:

   开放搜索查询分析可以改写两个query，第一个query更精准，第二个query减少了参与召回的term，旨在当更精确的召回结果数不足时，用第二个query进行扩大召回。query改写主要根据实体的重要性，召回时保留重要性高的实体词，对重要性低的部分不影响召回，只影响算法排序。

实现方式：

   实体重要性目前分为高、中、低三档。其中“品牌、品类”是在高档，也就是最重要的；其次“风格、款式、颜色、季节、人群、地点…”处于中档；最后“尺寸、修饰词、影响服务、系列、单位…”处于低档，可以丢弃不参与召回。

2.3.2与类目预测一起使用

  query中不同的实体对类目的影响是不一样的，因此，当原query没有类目预测的结果时，会根据一定的规则，去掉和类目意图无关或者相关度低的词后，进行类目预测,这对长尾query的类目预测会有很大的帮助.

示例：

“杨幂(人名)同款(后缀)春季(时间季节)修身(款式元素)连衣裙(品类)”丢词后的query按照优先级排序分别为：

春季修身连衣裙

春季连衣裙
修身连衣裙
连衣裙

系统会按照上述顺序依次查询类目预测的结果

3. 类目预测

3.1举例说明：

• 用户搜索“苹果”可能是想要水果的苹果，也可能是苹果手机；
• 用户搜索“华为”，召回结果按销量排序，可能销量最高的“华为手表”、“华为配件”排在前面，实际的搜索意图”华为手机“却排在后面。

 3.2开放搜索类目预测能力  

    类目预测是开放搜索里基于物品/内容的类目信息改善搜索效果的算法功能。根据用户的查询词来预测用户想要查询哪个类目的结果，结合排序表达式，可以使得更符合搜索意图的结果排序更靠前。

基本原理：把历史上搜过的query收集起来，结合query查询之后的点击行为数据，与类目下的物品信息联系起来，使用这些数据来训练模型，由模型来刻画query与类目之间的数据规律。

   不同用户搜索意图不同，有些行为意图搜索“配件”，有些意图是搜索“手机”，那根据用户的行为数据就可以通过类目进行判断，从而在排序效果上实现个性化展示；

4. 排序算法

4.1电商排序常见问题

• 查询结果排序不理想：导致点击率较低，跳出率较高，直接影响业务转化；
• 数据缺乏时效性：难以平衡优质商品和新发布商品之间的权衡关系；
• 商家刷排名：部分商家找到排序漏洞，通过关键词堆砌，获得靠前位置，用户体验不好；
• 人力资源紧张：需要专业算法工程师2-3名，很难找到合适的人才。

4.2开放搜索电商排序能力

   在应用结构模板和索引结构模板基础上，提供电商常用基础排序、业务排序表达式，无需额外配置即可满足大部分电商行业排序效果需求，用户还可以通过cava脚本定制排序。

5. 人工干预bad case

5.1常见的bad case

• “iPhone11”刚上市时，用户搜索“苹果/iphone”，最新款产品肯定要排在前面，在没有常规排序算法的时候，就需要类目预测人工干预；
• “喷泡”是一款篮球鞋的别称，并非主流叫法，全称是“Air Jordan AirFoamposite系列”，这时就需要通过平时运营积累的专业词汇可视化同步到开放搜索做查询语义理解功能的补丁，通过灵活干预得以解决；
• 跨境电商有时Query涉及“日文、韩文、泰文”等外语，当我们的分词词典不能很好的分词优化时，也可以通过分词干预功能解决；
• 用户搜索Query“香奈儿气垫”，默认的实体识别，将“香奈儿”归类为“普通词”；“气垫”归类为“材质”，需要人工干预实体识别，把“香奈儿”干预为品牌。

5.2开放搜索人工干预功能

• 内置干预词典，可在其基础上添加自定义干预词典；
• 支持查询分析干预词典（停用词、拼写纠错、同义词、实体识别、词权重、类目预测）；

6. 搜索引导功能

6.1搜索引导功能业务价值

6.1.1热搜底纹

• 热门query是用户兴趣的风向标，通过分析热门query把握用户的兴趣走向，对制定运营策略提供决策依据；
• 给用户推荐一些优质query，提升业务目标；
• 用户推荐热门query，既提升用户体验，又给部分次热门query增加曝光机会；
• 通过分析用户的行为，结合用户的兴趣来推荐query，想用户所想提高转化机会；

6.1.2下拉提示

• 提高输入效率，帮助用户尽快找到想要的内容，同时减少用户的查询次数，减小服务端的压力；
• 推荐更优质query；

 

6.2开放搜索搜索引导优势

  内置热搜、底纹、下拉提示多样搜索引导算法模型，无需开发系统每天自动训练模型，对用户搜索意图起到重要的引导作用，大大降低后续查询意图理解、相关性、排序、运营干预等环节的调优难度，对提升整体业务目标可以起到非常好的铺垫作用。

 

五、开放搜索电商行业模板

1.搜索架构

  开放搜索（OpenSearch）首创电商行业搜索模板能力，帮助企业快速构建更高水准的搜索服务，带动业务指数级增长。

2.一键配置

内置电商行业搜索能力，配置简单新手无门槛

3.电商行业模板优势

• 行业最佳实践，减少试错成本

将搭建电商行业搜索的最佳实践产品化落地，用户不必各方向探索，只需按模板接入即可拥有更优服务；

• 内置更高质量算法模型，节省训练成本

用户从0开始优化搜索，免去大量的数据标注与模型训练工作，直接内置阿里集团淘系搜索算法能力，节省数十人/月的算法工作；

• 支持个性化搜索与服务能力

通过引擎侧的多路召回能力，实现搜索结果、下拉提示、底纹词等重要服务千人千面，提升搜索转化；

• 架构开放，支持开发者自定义模型实时回流

支持用户自行训练的NLP模型导入进入开放搜索，灵活满足业务开发者需求；

• 召回引擎性能充分领先

阿里巴巴自研Ha3引擎，处理海量数据、高并发、海量用户请求，性能数倍优于开源方案；

• 高时效的行业迭代能力

根据电商行变化，不断迭代更新原有能力，提供更高时效性的服务保障；

4.电商行业增强版技术核心指标优化

4.1开源搜索与电商行业增强版效果对比

4.2通用版与电商行业增强版能力对比

4.3离线数据处理

 单个集群实时数据同步Tps百万级；

获得专家指导：

https://survey.aliyun.com/apps/zhiliao/uzhnOt_g9

电商行业模板配置流程：

https://help.aliyun.com/document_detail/208651.html

如果您对搜索与推荐相关技术感兴趣，欢迎加入钉钉群内交流