交互搜索中的自然语言理解技术

本文涉及的产品
智能开放搜索 OpenSearch行业算法版,1GB 20LCU 1个月
推荐全链路深度定制开发平台,高级版 1个月
智能开放搜索 OpenSearch向量检索版,4核32GB 1个月
简介: 交互搜索 交互搜索是一种新的产品形态,可以和用户对话,记住用户的购物需求和偏好,提供购物知识和建议。在搜索页面下拉就可以进入了,类似于微信的小程序的进入方式。 自然语言理解 对话和搜索的最大区别就是对话是多轮的,而搜索是单轮的。

交互搜索

交互搜索是一种新的产品形态,可以和用户对话,记住用户的购物需求和偏好,提供购物知识和建议。在搜索页面下拉就可以进入了,类似于微信的小程序的进入方式。

20180319151637.png

自然语言理解

对话和搜索的最大区别就是对话是多轮的,而搜索是单轮的。另外对话中,特别是语音输入中,会有更多的自然语言,而搜索中更多的是商品语言。因此,对话中的核心技术就是自然语言理解(NLU),在交互过程中,理解用户的购物需求和意图。

20180319114458.png

上面是用户多轮对话购物的一个例子,在用户每次输入后,Query理解模块(QU)都会识别他本次对话的意图、类目和属性,对话状态管理模块(DST)都会更新当前最终的意图、类目和属性。

  • 意图(intent):

    • 购物:我想买连衣裙
    • 知识问答:高端手机品牌有哪些,怎么除甲醛
    • 购物攻略:怎么挑连衣裙
    • 搭配:红色连衣裙搭配什么鞋子
    • 促销活动:iphone8活动
    • 产品比较:iphone8 mate10 哪个好
  • 类目(category):商品的类目或者品类。
  • 属性(attribute):类目或品类下,商品的属性(CPV)。

NLU技术点

自然语言理解的模块如下:

20180319135527.png

意图识别 很多时候,用户的意图是不明确的,比如搜“手机”,可能既想买手机,也不知道怎么挑。但是从概率上来说,“手机”这个query的主要意图还是购物。而“怎么挑手机”,则主要是找购物攻略。因此,我们可以从querylog中找出用户在输入某些短语(如“怎么挑”)的时候,是想找购物攻略的。意图识别就是把这些短语挖掘出来,对query的意图分类。

Session切分 在用户的一次购物过程中,可能会买多种类目(品类)的商品,同一个类目的商品属于一个购物需求或者一个session。因此,每次用户输入后,都要识别用户是继续说的,还是新的需求。有的时候,这种session切换会包含歧义,如先搜“手机”,再搜"苹果",这时可能是“苹果手机”,或者是“苹果水果”,这时需要根据概率出默认的语义(苹果手机),并且给用户其他的选项(苹果水果)。

类目预测 如果session切分是正确的,类目预测就会比较容易了。不过,多轮的时候,用户的需求更复杂,对类目预测的要求也更高。当然,如果session切分错了,类目预测也会出错。由于session切分和类目预测都是对类目需求的理解,这两个任务之间有很多共同点,所以我们也在考虑一起优化。

属性填充Slot filling 不同的叶子类目有不同的属性集合,淘宝的上万个叶子类目中,也有上万个属性(Slot)。高频的属性值可以通过知识图谱中的CPV来直接匹配,但中低频的属性值则需要用到更多的信息。很多属性值有不同的说法,比如:iphone8plus、iphone8p、8plus、8p,这4个词都是指"型号:iphone8plus"。还有很多属性值并不在CPV中,比如“3到4岁”的奶粉。这些都需要识别到某一个CPV属性,或者一个文本属性,或者是没有意义的词。

对话状态管理State Tracking 这里主要是进行属性值的追加或者替换,比如先搜“only连衣裙”,再搜“zara”,这时的状态是“zara连衣裙”。更复杂的是文本属性的替换,比如先搜“便宜的手机”,再搜“贵的”,这时的状态是“贵的手机”。

State Tracking之后,用户对话的语义理解就完成了,会输出表示当前搜索语义的“标准Query”和tagging的结果,给后续的对话策略、排序等模块使用。

后记

交互搜索中的自然语言理解就给大家简单介绍到这里,真正想要理解自然语言的语义,任重而道远。举几个语音搜索中的例子,作为未来的目标,“1.5米宽儿童上下床带衣柜”,“我要夜萝莉精灵梦中的萝莉公主最好便宜的”,“必背小孩子玩的玩具”。

目录
相关文章
|
26天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【10月更文挑战第3天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将分析NLP的基本原理,介绍AI技术如何推动NLP的发展,并讨论当前的挑战和未来的趋势。通过本文,读者将了解AI技术在NLP中的重要性,以及如何利用这些技术解决实际问题。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【9月更文挑战第17天】本文主要介绍了AI技术在自然语言处理(NLP)领域的应用,包括文本分类、情感分析、机器翻译和语音识别等方面。通过实例展示了AI技术如何帮助解决NLP中的挑战性问题,并讨论了未来发展趋势。
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【10月更文挑战第4天】本文将介绍人工智能(AI)在自然语言处理(NLP)领域的应用,包括语音识别、机器翻译、情感分析等方面。我们将通过一些实际案例展示AI如何帮助人们更好地理解和使用自然语言。同时,我们也会探讨AI在NLP领域面临的挑战和未来发展方向。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI技术在自然语言处理中的应用
【9月更文挑战第22天】本文将探讨AI技术在自然语言处理(NLP)领域的应用,包括文本挖掘、情感分析、机器翻译等方面。我们将通过实例和代码示例,展示如何使用Python和相关库实现这些功能。
|
2月前
|
机器学习/深度学习 数据采集 人工智能
AI技术在自然语言处理中的应用与挑战
【9月更文挑战第12天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将介绍NLP的基本概念、主要任务和应用场景,并分析当前AI技术在NLP中的局限性和未来发展趋势。通过实际案例和代码示例,我们将展示AI技术如何帮助解决NLP问题,并探讨如何克服现有挑战以实现更高效的自然语言处理系统。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【8月更文挑战第28天】本文将探讨AI技术在自然语言处理(NLP)领域的应用及其面临的挑战。我们将通过实例和代码示例,展示AI如何帮助机器理解和生成人类语言,并讨论在这一过程中遇到的主要问题和可能的解决方案。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【8月更文挑战第31天】本文将探讨AI技术在自然语言处理中的应用。我们将从基本概念开始,逐步深入到具体的应用案例和技术实现。无论你是AI技术的初学者,还是已经在该领域有一定经验的专业人士,都可以从本文中获得有价值的信息。让我们一起探索AI技术如何改变我们理解和使用自然语言的方式吧!
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用
【8月更文挑战第27天】本文将探讨人工智能技术在自然语言处理领域的应用,包括语音识别、机器翻译、情感分析等方面。我们将通过实例展示AI如何改变我们与计算机的交互方式,并讨论其在未来发展的潜力。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在自然语言处理中的应用与挑战
【8月更文挑战第26天】本文将探讨AI技术在自然语言处理(NLP)领域的应用和面临的挑战。我们将通过实例分析,展示AI如何帮助机器理解和生成人类语言,并讨论当前技术的局限性和未来发展的可能性。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
【自然语言处理】python之人工智能应用篇——文本生成技术
文本生成是指使用自然语言处理技术,基于给定的上下文或主题自动生成人类可读的文本。这种技术可以应用于各种领域,如自动写作、聊天机器人、新闻生成、广告文案创作等。
81 8