《中国人工智能学会通讯》——1.7 问句理解

本文涉及的产品
NLP 自学习平台,3个模型定制额度 1个月
云解析 DNS,旗舰版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第1章,第1.7节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

1.7 问句理解

有了知识还不够,智能问答还需要理解人提出的问题,问题理解就是将自然语言转化为计算机可以理解的形式化语言。让计算机理解自然语言是非常困的,这也是自然语言处理技术的核心问题。解决这一问题有两种不同的思路。

第一种是语义解析方法 (semantic parsing)。这种方法符合人们的直觉,它将一个自然语言句子,按照特定的语法,解析成逻辑表达式,这些逻辑表达式可以容易地转变为知识库的查询语言,因为它们已经是没有歧义的表达语句。

研 究 人 员 设 计 了 很 多 方 法 来 完 成 这 样 的 转换[13-16] 。其中,比较常见的是利用组合范畴语法Combinatory Categorical Grammars (CCG) [13, 17] 。CCG 的核心是词汇,将自然语言的词汇映射到逻辑表达式的词汇。除了词汇之外,CCG 还有一系列的语法规则,按照这些规则将词汇组合起来,就得到了最终的逻辑表达式。

然而,在这类方法中起到至关重要作用的词汇一般都是人工生成的,这样的词汇缺乏领域适应性,如果问答系统从一个领域换到另外一个领域,就要重新生成一批特定词汇。自动学习这种词汇成为了研究的重点[16-18] 。另一方面,CCG有多种语法组合规则,有时,一个问句会有不同的解析方式,因此,如何选择正确的解析方式也成为一个问题,使用概率化的 CCG [19]可以解决这一问题。

第二种是基于信息检索的方法。这种方法避开了最难的自然语言理解部分,将语义解析问题转化为检索问题。首先,找到问句中所涉及到的知识库资源;然后,按一定的规则(可以是学习得到的规则),将这些资源组合成规范查询语言。这种方法相对来说比较简单易用,而且通常不用人工去设计词汇,所以适用于多个领域,相应的缺点是不如语义解析方法精确。

如 果 我 们 只 针 对 一 个 特 定 的 知 识 库( 例 如Freebase)来做简单的事实性问答,那么可以使用更加简单但效果明显的检索式方法[20] 。即先用命名实体识别工具得到问句中的主实体,然后再找出问句中所提问的关系,或者说属性。一般来说,命名实体识别这个步骤相对容易,因为一个实体的表示方式有限。而找到关系则更困难,因为自然语言描述同一关系的表达方式多种多样。例如,中文里表达“配偶”这一关系的说法就有妻子、丈夫、结婚等等多种说法,因此重点就是找到问句所询问的关系。好在知识库中和某一实体相关的关系数量是有限的,可以排除很多无关的关系。在 Freebase这样的知识库问答中,这种方法是很有优势的。当然,这种方法的缺点也明显,就是无法处理复杂的问句。

受其启发,近年来有很多工作利用神经网络的方法继续对其进行了改进。文献 [21] 使用了卷积神经网络来映射关系。值得一提的是,最近的一些工作[22-23]更进一步地利用端到端的方法,直接将问句和最终的答案做匹配,络在其中起到了重要作用,并且这种方法也取得了不俗的效果。

综上,问句理解是问答系统中最核心的环节,因为正是这个过程将人类的自然语言转化为计算机可以处理的形式。这种困难不只是智能问答所需要克服的,而是整个人工智能领域所面对的共同难题。

相关文章
|
4月前
|
人工智能 安全 Anolis
中兴通讯分论坛邀您探讨 AI 时代下 OS 的安全能力 | 2024 龙蜥大会
操作系统如何提供符合场景要求的安全能力,构建更加安全可信的计算环境。
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
这是ShowMeAI每周通讯的第3期。本期内容关键词:新冠、ChatGPT、2022 AI 报告、腾讯·绝悟、阿里·AliceMind、小红书·全站智投、OpenAI·Point-E、Google·CALM、Wayve·MILE、AI2·MemPrompt、Stanford x MosaicML·PubMed GPT、腾讯全员大会、特斯拉裁员、图森未来裁员、AI 应用与工具大全。
553 0
阳过→阳康,数据里的时代侧影;谷歌慌了!看各公司如何应对ChatGPT;两份优质AI年报;本周技术高光时刻 | ShowMeAI每周通讯 #003-12.24
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
2086 0
与世界同行 2017中国人工智能大会有感
|
机器学习/深度学习 人工智能 自然语言处理
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
人工智能产业是智能产业发展的核心,是其他智能科技产品发展的基础,近年来,中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。
1869 0
2022 年中国人工智能行业发展现状与市场规模分析 市场规模超 3000 亿元
|
数据采集 人工智能 智能设计
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
820 0
Nat. Biotechnol. | 人工智能药物研发在中国蓬勃发展
|
机器学习/深度学习 人工智能 监控
中国95后流行色是什么?人工智能给出的答案是它
中国 95 后的流行色是什么?人工智能说是 RGB 值为 22/20/24 的「黑色」。
579 0
中国95后流行色是什么?人工智能给出的答案是它
|
机器学习/深度学习 人工智能 自然语言处理
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目
机器之心和 Comet Labs 联合发布了影响全球人工智能公司的榜单。我们选取了基础研究、技术和产品、行业潜力、公司运营能力、资本实力等五个维度,甄选出了全球范围内最具前途的 100 家人工智能公司,它们包括那些我们已经熟知的科技巨头,垂直行业独角兽,也有尚在萌芽的初创公司。 当然,这份榜单肯定没有做到尽善尽美,也存在 100 家的名额限制,但我们坚信,这份基于我们诚意、内容经验和专业判断的不存在任何商业利益的榜单可以为大家总结和精炼出一些有价值的信息,带给大家灵感和启发。
744 0
机器之心选出全球最值得关注的100家人工智能公司(中国27家),同时这是一个开源项目
|
机器学习/深度学习 人工智能 自然语言处理
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
AI 2000人工智能全球最具影响力学者揭晓,中国正在快速追赶美国
|
人工智能 安全 算法
​《2020科技趋势报告》重磅发布:人工智能重塑业务形态,中国创造了新的世界秩序
​《2020科技趋势报告》重磅发布:人工智能重塑业务形态,中国创造了新的世界秩序
​《2020科技趋势报告》重磅发布:人工智能重塑业务形态,中国创造了新的世界秩序