电商搜索能力解读--实体识别（NER）

实体识别功能介绍

实体识别，全称命名实体识别（Named Entity Recognition，简称NER），指对电商查询词中的具有特定意义的语义实体进行实体词打标识别其中的品牌、品类、品类修饰、型号、款式等40种类别 。查询分析根据识别的结果，依据实体类型的权重对查询词进行改写，使得召回的文档符合查询的意图。

开放搜索实体识别优势

   基于多年淘系全量数据和知识库深入优化电商行业实体识别能力，解决品牌更新快歧义大，品类存在修饰关系，品牌品类搭配关系等问题。解决尤其在中文上由于缺乏天然分隔符，面临边界歧义、语义歧义、嵌套歧义等困难。

实体识别在查询分析中作用

1.作用于query改写:

   开放搜索查询分析可以改写两个query，第一个query更精准，第二个query减少了参与召回的term，旨在当更精确的召回结果数不足时，用第二个query进行扩大召回。query改写主要根据实体的重要性，召回时保留重要性高的实体词，对重要性低的部分不影响召回，只影响算法排序。

实现方式：

   实体重要性目前分为高、中、低三档。其中“品牌、品类”是在高档，也就是最重要的；其次“风格、款式、颜色、季节、人群、地点…”处于中档；最后“尺寸、修饰词、影响服务、系列、单位…”处于低档，可以丢弃不参与召回。

2.与类目预测一起使用

  query中不同的实体对类目的影响是不一样的，因此，当原query没有类目预测的结果时，会根据一定的规则，去掉和类目意图无关或者相关度低的词后，进行类目预测,这对长尾query的类目预测会有很大的帮助.

示例：

“杨幂(人名)同款(后缀)春季(时间季节)修身(款式元素)连衣裙(品类)”丢词后的query按照优先级排序分别为：

春季修身连衣裙

春季连衣裙
修身连衣裙
连衣裙

系统会按照上述顺序依次查询类目预测的结果

更多类目预测功能详介绍：https://help.aliyun.com/document_detail/69036.html

电商行业增强版实体识别能力再升级

   开放搜索打造独有的行业智能搜索解决方案，推出电商行业增强版，其中在实体识别能力上进行了再升级，使得实体打标效果更好，可以更精准的定位用户搜索意图满足商品搜索需求。

• 现有框架知识库更新

基于老模型链路重新构建全量知识库，F1 69 -> 74

• 标注训练数据，使用神经网络模型

标注10万条数据，耗时4个月，BiLSTM-CRF模型，F1 74 -> 78

• 神经网络模型结合知识库

技术创新GraphNER框架结合监督模型与知识库，F1 78 -> 82

实体识别干预词典

    业务场景不同，实体识别语义也是不同的，为了方便用户使用，开放搜索提供实体识别干预词典，供用户自定义词的语义，目前实体识别的干预主要包括两个：一是对实体识别结果本身的干预，二是实体类型重要性的干预。当实体识别的结果不准时，应该通过实体识别的干预词典的配置来进行干预。通过创建实体识别干预词典，并在查询分析中实体识别配置相应的干预词典，就可以干预实体识别功能。

例如：业务特殊专有名词，需要进行实体识别干预。

    用户搜索“小熊 （Bear）婴儿指甲刀护理套装"，其中“小熊”“bear”实体识别结果为：普通词，但实际业务上“小熊（bear）”是一家母婴品牌，这时可以使用干预词典，设置为“品牌”，从而影响召回排序的效果。

实践后的搜索性能对比

1. 搜索“荷兰美素佳儿婴幼儿奶粉“分词效果
• Before:“荷兰 美 素 佳 儿 婴幼儿 婴 幼 儿 奶粉 奶 粉”
• After: “荷兰（地点地域) 美素佳儿(品牌） 婴幼儿（人群) 奶粉(品类)”

2. 搜索“夏季新款凉鞋男童”
• Before：3个召回结果，
• After：22个召回结果
利用实体识别功能：定位搜索关键词
实体识别：“夏季”时间季节，“男童”人群；“新款"新品；；“凉鞋”品类；

 Query1:  “凉鞋”“夏季”“男童”；  

 Query2：“凉鞋”

阿里云搜索相关产品推荐

开放搜索（OpenSearch）：基于阿里巴巴自主研发的大规模分布式搜索引擎搭建的一站式智能搜索业务开发平台，目前为包括淘宝、天猫在内的阿里集团核心业务提供搜索服务支持。通过内置各行业的查询语义理解、机器学习排序算法等能力，提供充分开放的引擎能力，助力开发者快速搭建更高性能、更高搜索基线效果的智能搜索服务

了解产品详情:https://www.aliyun.com/product/opensearch

了解更多电商行业搜索解决方案:https://www.aliyun.com/page-source//data-intelligence/activity/opensearch

如果你想与更多开发者们进行交流、了解最前沿的搜索与推荐技术，可以钉钉扫码加入社群~