中国人工智能学会通讯——互联网搜索技术的前沿探索 1 用户查询理解与处理

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

1 用户查询理解与处理

用户查询理解与处理旨在通过对用户输入查询的建模、分析和处理,理解用户查询的意图,提高信息检索的质量和用户体验。用户查询通常表述简单、文字不规范、语义也十分模糊,使得理解非常困难,但同时,搜索引擎积累的大规模用户查询日志又为深层次理解用户查询意图提供了基础且宝贵的资源。我们的研究工作从单个查询、多个查询以及查询序列逐层展开,研究了查询的表达与解析[1-2]、查询关系度量[3-4],以及搜索效用建模[5],提出了适用于简短模糊查询的概率图模型,逐层深入地理解用户的查询意图。代表性的成果有如下几个方面。

1.1 查询表达优化

针对不规范、模糊的用户查询进行机器可理解的优化处理这一问题,我们提出了一体化区分式查询优化模型——CRF-QR[1],可利用大规模查询日志一体化实现多种优化操作。具体的,CRF-QR方法将查询优化看成是一个结构化预测问题,即给定一个输入序列x,要预测最优的输出序列y,满足y= argmaxy Pr(y|x)(如图1(a)所示)。该问题面临两个难点:①如何有效利用数据中的复杂特征进行建模;②如何高效地实现高维输入空间和输出空间之间的映射。CRF-QR 模型核心思想是将优化操作变量引入到条件随机场模型中(如图1 (b)和(c)所示)。模型具有两大优点:①通过区分式模型直接利用查询日志中的复杂特征进行预测,避免传统产生式模型建模复杂特征产生过程的难题;②通过引入操作变量进行“约束映射”,使得预测空间的维度降低了2~3个数量级,大幅提高了模型学习的效率。

image

1.2 查询相关关系度量

在查询关系度量方面,由于查询词语义模糊和用户检索意图的多样性,传统采用单一尺度的查询相似性度量无法准确刻画查询的语义相关性。针对这一难题,我们提出了基于检索意图感知的查询相似性度量(Intent-aware Query Similarity)[2],将查询相似度的计算定义在检索意图之上,建模了检索意图的多样性和不确定性,避免了传统单一尺度度量准则的不足。具体而言,该方法分为两个阶段。首先,利用检索结果及查询点击日志数据,通过正则化话题混合模型来建模和学习用户的潜在检索意图。在理解意图的基础上,抽取出基于不同检索意图的查询表达,即意图感知的表达(Intent-aware Representation),最终实现基于意图感知的查询相似度计算。该方法[3]长文发表于ACM CIKM 2011上,在所有录用的134篇长文中,被评为唯一一篇最佳论文(Best Paper Award)。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8天前
|
传感器 机器学习/深度学习 人工智能
未来智能家居中的人工智能应用技术
在未来智能家居的发展中,人工智能技术扮演着越来越重要的角色。本文探讨了人工智能在智能家居中的应用现状及未来趋势,涵盖了语音识别、机器学习、智能感知等关键技术的应用场景和发展前景。
|
1天前
|
机器学习/深度学习 人工智能 搜索推荐
人工智能技术--AI作画工具
AI作画工具是一种运用人工智能技术,特别是深度学习和生成对抗网络(GAN)等算法,自动生成或辅助创作视觉艺术作品的技术。通过机器学习,分析和模拟人类艺术家的创作风格和技巧,从而创作出具有艺术性的画作。
12 1
|
7天前
|
机器学习/深度学习 传感器 人工智能
自动驾驶技术是人工智能在现代交通领域的重要应用之一
自动驾驶技术是人工智能在现代交通领域的重要应用之一
25 5
|
10天前
|
机器学习/深度学习 人工智能 自然语言处理
【人工智能】第一部分:ChatGPT的基本概念和技术背景
【人工智能】第一部分:ChatGPT的基本概念和技术背景
21 6
|
7天前
|
传感器 机器学习/深度学习 人工智能
多模态大模型代表了人工智能领域的新一代技术范式
多模态大模型代表了人工智能领域的新一代技术范式
13 2
|
9天前
|
机器学习/深度学习 人工智能 算法
人工智能伦理与责任:构建未来技术的指南针
【6月更文挑战第17天】随着人工智能技术的快速发展,其带来的伦理问题和社会责任也逐渐成为公众关注的焦点。本文将深入探讨AI的伦理挑战,包括隐私保护、偏见消除、自动化失业问题等,并提出相应的解决策略。通过分析当前AI技术的应用现状,文章旨在为技术开发者、政策制定者和社会各界提供指导,共同推动一个负责任和可持续的人工智能未来。
11 3
|
8天前
|
人工智能 UED 智能硬件
未来智能家居中的人工智能技术应用与挑战
在未来智能家居的发展中,人工智能技术将扮演越来越重要的角色。本文探讨了人工智能在智能家居中的应用现状、技术挑战以及未来的发展方向,着重分析了其在安全性、用户体验和能效优化方面的创新应用。
23 1
|
10天前
|
机器学习/深度学习 人工智能 算法
【人工智能】第四部分:ChatGPT的技术实现
【人工智能】第四部分:ChatGPT的技术实现
12 3
|
10天前
|
传感器 人工智能 搜索推荐
人工智能(AI)与物联网(IoT)的融合是当今技术领域的一个重要趋势
人工智能(AI)与物联网(IoT)的融合是当今技术领域的一个重要趋势
|
13天前
|
机器学习/深度学习 人工智能 自动驾驶
智能时代的引擎:人工智能技术的未来展望
【6月更文挑战第14天】在这篇文章中,我们将探讨人工智能(AI)技术的现状和未来。我们将深入了解AI的工作原理,以及它如何改变我们的生活和工作方式。我们还将讨论AI的一些潜在问题和挑战,以及如何克服这些问题。最后,我们将展望AI的未来,看看这项技术将如何继续影响我们的世界。

热门文章

最新文章