论文Express | 百度最新论文:基于交互的自然语言学习

简介:

百度研究院(Baidu Research)的博客刚刚更新发布了一篇关于自然语言处理的新论文,在利用交互进行自然语言学习上,提出了一些有趣的新观点,来和文摘菌一起来看看这篇论文的主要内容。

4a9b5ef2dd15564310ca8a4b131ea60eb59dadd1

本文提出了一种基于交互式的自然语言学习的方法,其中,学习者通过与人类交互并从反馈中学习自然语言,从而在参与对话的过程中学习和提高语言技能。

与监督学习环境的条件有所不同,本文中没有对模型(学习者)进行有标签的直接监督学习训练。相反,学习者为了学习说话,必须先能说话,并且人类将提供自然语言(例如,是/否)和非语言(例如,点头/微笑)反馈。

通过对话交流,AI可以可以询问问题来积极获取信息,并在随后的对话中,使用刚才学到的知识。

下图展示了训练期间,几种不同形式的示例对话。

d227d54208ee7eafeaad91b3e2101670b2b33d5a

最初,学习者给出毫无意义的句子,但通过这种单一的互动对话逐渐提高了学习者的对话技能。最后,学习者可以用自然语言正确回答问题。

此外,模型的泛化能力进一步证明了模型的语言学习能力。也就是,在之前从未出现在问题中的概念,通过被询问对象的描述,模型可以通过一些已知观点或者概念的组合来回答。

例如,在训练期间,从未进行过{鳄梨,东}组合的问答训练。被询问的“老师”只是描述了“对象是橙色”,但从未对模型进行提问。在测试过程中,模型在回答有关“鳄梨”问题时,既可以回答“正东”方向的水果是“鳄梨”,也可以回答“鳄梨”是“橙色”的问题,如上图所示。

本文的目标之一是增加语言学习环境的复杂性以培养更复杂的语言行为。另一个目标是探索知识建模和快速学习,使模型能够与人类互动并有效地向现实世界学习。


原文发布时间为:2018-05-16

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
3月前
|
机器学习/深度学习 自然语言处理 算法
如何快速高效全面的学习自然语言处理
如何快速高效全面的学习自然语言处理
|
3月前
|
Web App开发 JSON 中间件
express学习 - (3)express 路由
express学习 - (3)express 路由
73 1
|
3月前
|
JSON 资源调度 中间件
express学习 - (1)环境配置与第一个express项目
express学习 - (1)环境配置与第一个express项目
56 0
|
4月前
|
机器学习/深度学习 自然语言处理 算法
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
19ContraBERT:顶会ICSE23 数据增强+对比学习+代码预训练模型,提升NLP模型性能与鲁棒性:处理程序变异(变量重命名)【网安AIGC专题11.15】
80 1
|
4月前
|
存储 机器学习/深度学习 人工智能
5个优质免费自然语言处理学习资源 | 语言技术导航
5个优质免费自然语言处理学习资源 | 语言技术导航
83 1
|
10月前
|
机器学习/深度学习 存储 自然语言处理
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
从零开始学习Java神经网络、自然语言处理和语音识别,附详解和简易版GPT,语音识别完整代码示例解析
90 0
|
4月前
【Node学习】—Express框架的安装
【Node学习】—Express框架的安装
|
7月前
|
机器学习/深度学习 自然语言处理 算法
NLP(自然语言处理)自学习平台可能是一个很好的选
NLP(自然语言处理)自学习平台可能是一个很好的选
87 3
|
9月前
|
机器学习/深度学习 人工智能 自然语言处理
学习生成式大语言模型,东北大学自然语言处理实验室有一堂课
学习生成式大语言模型,东北大学自然语言处理实验室有一堂课
|
10月前
|
存储 开发框架 JavaScript
Express框架的学习介绍
Express框架的学习介绍
85 0