A Neural Network Approach to Context-Sensitive Generation of

简介:

本文分享的这篇paper是旨在训练一个data driven open-domain的bot,在生成response的时候不仅仅考虑user message(query),而且考虑past history作为context。paper的题目是A Neural Network Approach to Context-Sensitive Generation of Conversational Responses,作者来自蒙特利尔大学、乔治亚理工、facebook和微软研究院,本文最早发于2015年6月。

开放域的端到端response生成在今年已经不是什么新鲜事了,各种复杂的网络,考虑各种各样的信息,然而在去年的这个时候,本文就提出了一种data driven的解决方案,是一篇有开创性的paper。

bot的几大核心问题,包括:

1、response generation(或者selection)

2、dialogue state tracking

3、user modeling

不管是开域的还是闭域的bot都需要解决好以上三个问题才能做出一个高质量的bot。本文针对的问题是第一个,用的思路也是现在看来比较自然的一种,用语言模型来生成response。

考虑history utterances的responses生成问题,先定义一些参数,m表示message(query),c表示context,r表示response。本文要解决的其实是下面这个问题:

1、Tripled Language Model

将c,m,r作为一句话来理解,给定c和m之后,不断地生成r的内容。
这个模型存在一个比较严重的问题是c如果过长的话,用BPTT训练不了RNNLM。(其实换作LSTM或者GRU单元就会好很多。)

2、Dynamic-Context Generative Model I

将c和m用词袋模型表示,然后拼接起来,作为输入,通过一个简单的FNN,得到输出,即c和m vector representation。

3、Dynamic-Context Generative Model II

与2不同的地方在于,将c和m单独作为输入,通过一个简单的FNN,得到c和m的vector representation。

这篇paper针对的问题很有意义,history information的建模对于bot在解决实际工程应用的时候意义重大,会让你的bot看起来更加的智能,和分析了用户日志的web应用会带来更好的服务是一个道理。本文的将具体的context包含到了模型中,在真正应用的时候,离线系统根据user conversation logs build一个user profile会更加实用,因为确实不可能把所有的history都丢到模型中一起来算。


来源:paperweekly


原文链接

目录
打赏
0
0
0
0
14291
分享
相关文章
Reading Notes: Human-Computer Interaction System: A Survey of Talking-Head Generation
由于人工智能的快速发展,虚拟人被广泛应用于各种行业,包括个人辅助、智能客户服务和在线教育。拟人化的数字人可以快速与人接触,并在人机交互中增强用户体验。因此,我们设计了人机交互系统框架,包括语音识别、文本到语音、对话系统和虚拟人生成。接下来,我们通过虚拟人深度生成框架对Talking-Head Generation视频生成模型进行了分类。同时,我们系统地回顾了过去五年来在有声头部视频生成方面的技术进步和趋势,强调了关键工作并总结了数据集。 对于有关于Talking-Head Generation的方法,这是一篇比较好的综述,我想着整理一下里面比较重要的部分,大概了解近几年对虚拟人工作的一些发展和
【文献学习】DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
本文介绍了一种新的深度复数卷积递归网络(DCCRN),用于处理语音增强问题,特别是针对低模型复杂度的实时处理。
351 5
【文献学习】Phase-Aware Speech Enhancement with Deep Complex U-Net
文章介绍了Deep Complex U-Net模型,用于复数值的语音增强,提出了新的极坐标掩码方法和wSDR损失函数,并通过多种评估指标验证了其性能。
107 1
TASLP21-Reinforcement Learning-based Dialogue Guided Event Extraction to Exploit Argument Relations
事件抽取是自然语言处理的一项基本任务。找到事件论元(如事件参与者)的角色对于事件抽取至关重要。
146 0
DEGREE: A Data-Efficient Generation-Based Event Extraction Model论文解读
事件抽取需要专家进行高质量的人工标注,这通常很昂贵。因此,学习一个仅用少数标记示例就能训练的数据高效事件抽取模型已成为一个至关重要的挑战。
244 0
GTEE-DYNPREF: Dynamic Prefix-Tuning for Generative Template-based Event Extraction 论文解读
我们以基于模板的条件生成的生成方式考虑事件抽取。尽管将事件抽取任务转换为带有提示的序列生成问题的趋势正在上升,但这些基于生成的方法存在两个重大挑战
193 0
DCFEE: A Document-level Chinese Financial Event Extraction System based on Automatically Labeled论文解读
我们提出了一个事件抽取框架,目的是从文档级财经新闻中抽取事件和事件提及。到目前为止,基于监督学习范式的方法在公共数据集中获得了最高的性能(如ACE 2005、KBP 2015)。这些方法严重依赖于人工标注的训练数据。
201 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
188 0
【多标签文本分类】Improved Neural Network-based Multi-label Classification with Better Initialization ……
A Generative Adversarial Network-based Deep Learning Method for Low-quality Defect ImageReconstructi
本文提出了一种基于生成对抗网络 (GAN) 的 DL 方法,用于低质量缺陷图像识别。 GAN用于重建低质量缺陷图像,并建立VGG16网络识别重建图像。
181 0