《中国人工智能学会通讯》——1.5 智能问答技术

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP自然语言处理_高级版,每接口累计50万次
NLP 自学习平台,3个模型定制额度 1个月
简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第1章,第1.5节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

1.5 智能问答技术

从早期的数字图书馆、专家系统到如今的搜索引擎,人们一直致力于追求快速、准确的信息获取方法。目前,网络上的数据资源浩如烟海、错综复杂,而用户的信息需求又千变万化、千姿百态,基于关键词组合的信息需求表示方式和基于浅层分析的语义分析这类传统的信息检索技术俨然不能满足当下用户的需求,智能问答技术通过对数据的深度加工和组织管理,以更自然的交互方式满足用户更精确的信息需求。

智能问答技术可以追溯到计算机诞生初期的上世纪五六十年代,其中,代表性的系统包括 Baseball [1]和 Lunar [2] 。Baseball 是最早的以“未来的人机交互将是以自然语言进行的交流方式”为目标构建的系统。Lunar 系统是为了方便月球地质学家查询、比较和分析美国阿波罗计划从月球带来的大量岩石和土壤分析数据而开发的问答系统。早期的这些系统大多针对特定领域而设计,一般处理的数据规模不大,因为只接受限定形式、限定领域的自然语言问句,也不需要强大的自然语言理解技术,其性能也与系统针对特定领域的定制程度相关。这类系统终归因为没有足够支撑应用的大量数据资源而难以被广泛应用。

进入到 20 世纪 90 年代,随着互联网技术的发展,人们希望利用日益丰富的网络数据资源解决智能问答中的数据匮乏问题,特别是随着 90 年代中期的 TREC -QA [3] 评测技术的推动,检索式问答技术取得了巨大的进展,这种系统的主要特点是:利用信息检索以及浅层自然语言处理技术从大规模本或网页库中抽取答案。但是,由于用户需求的多样性和自然语言的复杂性这种浅层的语义分析技术难以提取出有用的信息和准确理解用户查询意图 ( 比如,大部分检索式问答系统假设包含答案的句子至少含有一个问句中的词汇,但是这一假设在很多情况下不适用 ),因此这类检索式问答技术也未得到真实应用。

长期以来,阻碍智能问答技术发展的两大瓶颈是高质量的知识资源和精准的自然语言分析技术。随着Web2.0 的兴起,包括 Wikipedia 1 、ODP 2 等应用在内的众多基于用户协同生成内容(User-Generated Content,UGC) 的互联网服务产生了越来越多的高质量数据资源,以此为基础,大量的知识库以自动或半自动方式构建了起来(比如 Freebase 3 、YAGO 4 、DBpedia 5 等)。另外,随着 90 年代初统计机器学习方法和经验主义方法的兴起,自然语言处理中的各个任务都取得了突飞猛进的进展,无论是在基于语义分析的知识工程(如Reverb [4] )还是在大规模开放域问句深度理解方法都取得了长足的进步(如 SEMPRE [5] )。可以说,智能问答系统中所需要的知识资源和自然语言分析技术正逐步被科研人员解决。

近年来,不少智能问答产品取得的成果引起了社会公众对智能问答技术的关注,例如:IBM 研发的问答机器人 Watson 在美国智力竞赛节目《Jeopardy! 》中战胜人类选手;苹果公司研发的 Siri 系统在智能终端中的真实应用取得了良好的效果。实际上,Siri 系统内部的知识问答是提交给 WolframAlpha 6 处理的。Watson和 WolframAlpha 成功的关键因素包括:① 强大的知识资源:前者定义了自己的知识框架,并从大约 2 亿页的图书、新闻、电影剧本、辞海、文选和《世界图书百科全书》等资料中抽取知识,而后者对各个领域定义了自己的知识结构并抽取大量事实;② 深层语义分析技术:Watson 开发的 DeepQA 系统集成了统计机器学习、句法分析、主题分析、信息抽取、知识库集成和知识推理等深层技术。

值得注意的是,以智能问答技术为核心的智能聊天机器人近年来在国内发展的如火如荼,除了已面世的微软公司的“小冰”、百度公司的“度秘”和华为公司的“小诺”,众多企业和研究团体也在该领域发力突破。这类聊天机器人从目前来看虽然还不能解决太多真实信息需求,但是可以把智能问答的研究进展以用户喜闻乐见的方式带给大众是使其走向成熟的关键步骤。下面将介绍智能问答系统中涉及的主要关键技术:知识抽取、问句理解和知识推理。

相关文章
|
27天前
|
人工智能 JSON 前端开发
Agentic AI崛起:九大核心技术定义未来人机交互模式​
本文系统梳理AI智能体架构设计的九大核心技术,涵盖智能体基础、多智能体协作、知识增强、模型优化、工具调用、协议标准化及人机交互等关键领域,助力构建高效、智能、协同的AI应用体系。建议点赞收藏,持续关注AI架构前沿技术。
380 1
|
1月前
|
机器学习/深度学习 人工智能 程序员
Reflexion:让AI智能体学会反思的神奇技术
想象一下AI智能体能像人类一样从错误中学习,Reflexion技术让智能体不再需要重新训练就能自我改进。本文通过一个智能体助手小R的成长故事,带你轻松理解这个改变智能体学习方式的创新技术。
|
2月前
|
数据采集 人工智能 分布式计算
ODPS在AI时代的发展战略与技术演进分析报告
ODPS(现MaxCompute)历经十五年发展,从分布式计算平台演进为AI时代的数据基础设施,以超大规模处理、多模态融合与Data+AI协同为核心竞争力,支撑大模型训练与实时分析等前沿场景,助力企业实现数据驱动与智能化转型。
262 4
|
21天前
|
存储 机器学习/深度学习 人工智能
​​解锁AI检索的7大Embedding技术:从稀疏到多向量,一文掌握!​
本文系统解析七种主流文本嵌入技术,包括 Sparse、Dense、Quantized、Binary、Matryoshka 和 Multi-Vector 方法,结合适用场景提供实用选型建议,助你高效构建文本检索系统。
149 0
|
2月前
|
人工智能 自然语言处理 机器人
智能体平台哪家值得选?盘点国内外12家AI Agent平台技术特色
智能体平台正引领人机协作新潮流,将“智能”交给机器,让“平台”服务于人。2024年被Gartner定义为“AgenticAI元年”,预示未来企业交互将由智能体主导。面对百余平台,可从三条赛道入手:通用大模型、RPA升级派与垂直场景定制。不同需求对应不同方案,选对平台,才能让AI真正助力工作。
|
2月前
|
机器学习/深度学习 人工智能 搜索推荐
思维树提示技术:让AI像人类一样思考的魔法
想象一下,如果AI能像你思考问题一样有条理,从一个想法延伸到多个分支,会发生什么?思维树提示技术就是这样一种让AI更聪明的方法,通过结构化思维引导,让AI等大模型给出更深入、更全面的回答。本文将用最轻松的方式,带你掌握这个让AI智商飞升的秘技。
|
2月前
|
存储 人工智能 算法
AI 图纸表格识别与智能文档协同处理技术介绍
针对制造业、工程建设等领域图纸表格数据提取效率低、误差高的问题,本文介绍了一套涵盖表格识别、数据导出、EBOM转MBOM及智能文档协同处理的技术方案,实现图纸数据结构化与全生命周期管理。
105 0
|
2月前
|
设计模式 人工智能 API
​​混合检索技术:如何提升AI智能体50%的响应效率?​
本文深入解析检索增强智能体技术,探讨其三大集成模式(工具模式、预检索模式与混合模式),结合实战代码讲解RAG组件链构建、上下文压缩、混合检索等关键技术,并提供多步检索工作流与知识库自更新机制设计,助力高效智能体系统开发。
252 0
|
27天前
|
数据采集 Web App开发 人工智能
如何让AI“看懂”网页?拆解 Browser-Use 的三大核心技术模块
Browser-Use 是一种基于大语言模型(LLM)的浏览器自动化技术,通过融合视觉理解、DOM解析和动作预测等模块,实现对复杂网页任务的自主操作。它突破了传统固定选择器和流程编排的限制,具备任务规划与语义理解能力,可完成注册、比价、填报等多步骤操作。其核心功能包括视觉与HTML融合解析、多标签管理、元素追踪、自定义动作、自纠错机制,并支持任意LLM模型。Browser-Use标志着浏览器自动化从“规则驱动”向“认知驱动”的跃迁,大幅降低维护成本,提升复杂任务的处理效率与适应性。
726 28

热门文章

最新文章