《中国人工智能学会通讯》——1.22 如何评价智能问答系统-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

《中国人工智能学会通讯》——1.22 如何评价智能问答系统

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第1章,第1.22节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

1.22 如何评价智能问答系统

长期以来,人工智能界乃至计算机界梦寐以求,希望让计算机拥有人类的智能,能够像人类一样进行高度自主的认知、学习、推理。这一梦想推动了过去五六十年来人工智能研究和开发的巨大进步。

如何验证计算机已经具有了“人类”的智能?图灵在 1950 年写了一篇论文《计算机器与智能》,提出了如下的判断原则:测试者在与被试(包括人和机器)隔开的情况下,通过键盘等装置向被试随意提问。经过一段时间,如果测试者不能确认所收到的答复来自人还是机器,那么这台机器就通过了测试,并被认为具有人类智能。类似地,美国认知心理学家 G. M.Ulson 认为,判别计算机理解自然语言的四个标准是问答系统、文摘、复述和机器翻译。计算机只要达到以上标准之一,就认为它理解了自然语言。总而言之,问答是衡量人工智能水平的重要手段,问答系统的性能反映了人工智能系统的水平,因此问答技术的研究开发对于人工智能的发展有重要意义。

另一方面,人们自然而然就能想到,如何衡量智能问答的技术水平?哪些测试指标常用来评价问答系统?如今的智能回答能达到怎样的技术水准?接下来,本文将主要从评测和答题两个角度,对智能问答的评价方法加以介绍。需要说明的是,由于篇幅有限,本文所介绍的评价方法和评测手段将既不覆盖聊天机器人、语音助手和社区问答等系统,也不考虑问答的答题策略、人机交互和情感需求,而是聚焦于问题求解能力,要求对于给定的问题,不管来自开放域还是限定域,都能够直接给出问题的准确答案。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章
最新文章
相关文章