自然语言处理顶级会议 EMNLP 最佳论文出炉,聚焦神经网络 (下载)

本文涉及的产品
文本翻译,文本翻译 100万字符
图片翻译,图片翻译 100张
NLP自然语言处理_基础版,每接口每天50万次
简介:

2016 年自然语言处理(NLP)领域的顶级会议——自然语言处理实证方法大会(Empirical Methods in Natural Language Processing,EMNLP)将于11月 1 日至 5 日在美国德克萨斯州奥斯汀市举行。今年网上报名时间10月22日截止,因此本届大会参会人数暂时还无法确定。不过,去年和前年的 EMNLP 大会都有来自学术界和产业界上千人的参与。


根据一位评审的Twitter透露,本次 EMNLP 大会共收到来自 50 多个国家和地区近千篇论文投稿(包含无效投稿),最终录用 266 篇,接收率在 25% 左右,相比今年 8 月在德国柏林举办的自然语言处理顶级会议 ACL(共接收论文 327 篇),本次大会的投稿数量较少,但录取率应该基本持平。在接收的论文中,长论文 179 篇(华人第一作者的有 72 篇),短论文 87 篇(第一作者为华人的有 18 篇)。论文报告仍旧采取口头和海报两种形式,本次大会还特别增设了一个 Poster Spotlight 环节。另外,9 篇被 TACL 接收的论文也会在本届大会上做口头报告。



值得一提的是,本届 EMNLP 大会 Sponsorship Chairs 其中一位是华为诺亚方舟实验室主任李航。李航博士预计在后天(10月18日)召开的 AI WORLD 2016 世界人工智能大会上发表主旨演讲)。这里提前剧透:华为诺亚方舟实验室是华为专注于人工智能和大数据挖掘研究的部门,作为华为人工智能的带头人,李航博士不仅披露了华为诺亚方舟实验室如何通过人工智能创新改革电信行业,还详细介绍了华为使用深度强化学习软件控制网络以及帮助工程师排除网络故障的案例。想要进一步了解更多华为的人工智能技术,现在点击“阅读原文”购票还来得及。


机器学习受重视,单独成为一类


本届 EMNLP 大会涉及自然语言处理的各个领域,“机器学习”毫无悬念仍然成为重点,并且还首次单独出来自成一类(EMNLP 2015 时是“统计机器学习方法”)。大会覆盖的主题包括:计算心理语言;对话和交互系统;话语分析(Discourse Analysis);文本生成(Generation);信息抽取;信息检索与问答;语言与视觉;语言理论和资源;机器学习;机器翻译;多语种和跨语种(Multilinguality and Cross-linguality);自然语言处理应用;标注、组块分析及句法分析;语义;情感分析和意见挖掘;互联网、社交媒体与计算社会科学;口语处理(Spoken Language Processing);文本挖掘;文本分类和主题建模。


其中,语义仍然是比较最火的方向。但是,随着以语音和语言为接口的人机交互系统逐渐升温,对话和交互系统、话语分析、文本生成等方向在本届大会中也得到了重视。得益于近来神经网络的广泛应用,机器翻译有了大幅提升【参见谷歌推出商用神经网络机器翻译系系】,相关论文的投稿数量也有所增长。本届大会还新增了多语种和跨语种(Multilinguality and Cross-linguality)这一研究方向,而 EMNLP 2015 的音韵学、构词法及分词(当时这个方向排在第一)被去掉了。此外,Twitter上有研究者表示,很高兴看到 EMNLP 2016 重新关注了“语言理论和资源”,并且评选出了“最佳资源论文”(详见下文)。


受邀讲者及主旨演讲介绍


本届大会邀请了 3 位讲者:斯坦福大学计算机科学语言学教授、斯坦福语言与信息研究中心(CSLI)主任 Christopher Potts,开源工具包 SRILM 作者、微软研究院的 Andreas Stolcke,以及布朗大学计算机科学和工程学助理教授 Stefanie Tellex。下面就来看看他们的演讲题目和内容吧。


主旨演讲 1:在延伸和近似理性言语行为模型中学习


讲者 Christopher Potts:斯坦福大学计算机科学语言学教授,也是斯坦福语言与信息研究中心(CSLI)的主任。他的主要研究方向是使用计算机方法探索语言中的情感表达,以及语言的生成和阐释如何受到表达的影响。他在2005出版了专著“The Logic of Conventional Implicature”。

【演讲介绍】理性言语行为(RSA)模型把语言使用看成是一个递归过程,其中说话者和倾听者代理对彼此的意图进行推理,以对他们的语言词意以及广泛的 Gricean 线进行丰富和交流。RSA 建立在哲学家 David Lewis 此前的研究,以及其他信号系统,比如最近发展较快的贝叶斯认知模型之上。过去 5 年间,RSA 被证明在语用学的对话暗示,比如比喻、夸张、讽刺等上提供了许多核心的功能。这一方法较高的准确率和自然醒推动了一系列外部的研究,但是,在 NLP 和 AI 中使用还算非常有限,因为精确的模型在多个维度上还算比较受限的。本报告将介绍 RSA 最新的研究进展和核心属性。


主旨演讲 2:你在对我说话吗?基于语言的人机对话探测和多模型方法


讲者 Andreas Stolcke毕业于加利福尼亚大学,曾经是斯坦福国家研究院语音技术研究实验室资深工程师,现就职于微软研究院。 目前在语音领域已经发表超过 200 篇论文。他是著名的开源工具包 SRILM 的作者,IEEE 和 ISCA 院士。

【演讲介绍】随着对话系统变得越来越普遍,我们必须学会如何探测是谁在对系统说话,避免人和人之间的对话被机器误录入。本演讲要解决的就是这个问题,基于个维度:说了什么(词汇信息)、说话方式(声音属性)以及非语言多模式和文本信息。演讲者将会展示研究结果,证明这三方面的结合将能有效解决以上提到的问题。


主旨演讲 3:语言学习模型,人机合作中的行为和感知


讲者 Stefanie Tellex:布朗大学计算机科学和工程学助理教授。她的实验室 Humans To Robots Lab 致力于开发能与人完美合作的机器人。使用语言、手势、概率推理来满足人类的需要,让人人都能拥有合作的机器人。她于 2010 年在 MIT多媒体实验室拿到了博士学位。她是 Wired 评出的“2015年改变科学家的女性”之一,她的研究 2016 年被 MIT 科技评论评为“2016十大突破性技术”。

【演讲介绍】复杂的任务要求机器人不仅能直接与人类交流并合作,还有其他的技能。对合作的沟通要求对语言进行建模,搭建对话与实际含义的桥梁。tefanie Tellex 的研究就是让机器人学习词汇含义的组合模型,让它们可以更好地推理并与人类交流,提升人机合作的速度和准确率。


Workshop 及讲座:重点 聚焦神经网络 


本届大会一共开设了 6 个 Workshop 和 6 个讲座:


  • W1:国际研讨会:社会媒体自然语言处理

  • W2:第二研讨会:语言代码转换的计算方法 

  • W3:第10届SSST研讨会:统计翻译的句法、语义及结构 

  • W4:自然语言处理的结构化预测 

  • W5:NLP与计算社会科学 

  • W6:第七国际研讨会:健康文本挖掘和信息分析 

  • W7:第二研讨会:计算新闻故事情节

  • W8:语言处理的上坡战:将早期成就扩展为鲁棒方法


T1:NLP 神经网络实践:从理论到代码

讲者:Chris Dyer, Yoav Goldberg,Graham Neubig

内容介绍:本讲座旨在让NLP研究者加速与深度学习和神经网络领域的最新技术接轨,并展示如何将他们的想法变为现实。我们将从简单的分类模型(逻辑回归和多层感知器)开始,然后涵盖NLP相关的更多更高级的模型,如序列标记和预测问题的回归网络、结构化网络(如基于句法树的组合结构)、结构化输出空间(序列和数),关注序列和序列间的转导,以及复杂算法状态的特征归纳。 


T2:NLP 中为可扩展联合推理的高级马尔科夫逻辑技术

讲者:Deepak Venugopal, Vibhav Gogate,Vincent Ng

内容介绍:在本讲座中,我们将介绍MLN中提升推理和学习的最新进展,以及使MLN成为NLP应用的“黑盒”的新方法。具体地说,我们将介绍过去几年里MLN研究中出现的一个关键方法:提升推理。提升推理是指利用对称性优势的推理技术,它在MLN中既是精确,又是近似。我们将解释如何用这些推理技术来执行有效的联合推断。我们还将展示我们用于MLN推理和学习的、基于提升推理的新软件包 Alchemy 2.0,展示如何使用它来扩展大型模型和数据集中判断语义相似性、信息提取和问题回答的推理和学习。


T3:自然语言处理中的终身机器学习

讲者:Zhiyuan Chen & Bing Liu

内容介绍:机器学习(ML)已经成为解决许多 NLP 问题的普遍方法。然而,经典的ML范例仍然是孤立学习的。也就是说,给定一个数据集,对数据集执行ML算法,然后生成不使用任何相关知识或先验知识的模型。虽然这种类型的孤立学习非常有效,但它也有严重的局限性,因为它不会积累过去学到的知识,并用过去的知识来帮助未来的学习。这是人类学习和人类智能的特征。终身机器学习(LML)旨在实现这种能力。具体来说,它旨在设计和开发像人类一样学习的计算系统和算法,即积累过去学到的知识,并利用这些知识来帮助未来的学习。本讲座中,我们将介绍LML的现有研究,表明LML非常适合于NLP任务,并且有潜力帮助NLP取得更大进展。  


T4:情感分析神经网络 

讲者:Yue ZhangDuy Tin Vo 

内容介绍:情感分析一直是自然语言处理(NLP)的一个主要研究课题。本讲座将介绍用于情感分析的神经网络模型,讨论词汇嵌入、序列模型和数结构模型的计算以及他们在词汇、句子及篇章层面上的应用,以及细粒度情感分析。本讲座涵盖一系列神经网络模型(如CNN,RNN,RecNN,LSTM)及其扩展,它们用于四个主要的情感分析任务:情感导向嵌入;句子层面情感分析;篇章层面情感分析;细粒度情感分析。 

 

T5:  跨语言NLP应用中的连续向量空间

讲者:Rafael E. Banchs

内容介绍:几何学中向量空间内的距离概念,加上词义与语义被证明在许多单一自然语言出路应用中很有用。最新的证据表明,这一方法在跨语言背景中也很有用。在本讲座中,我们讨论了特定跨语言自然语言处理应用中向量空间模型范式的最新进展,对其背后的理论背景进行回顾。讲座介绍了关于分布式词义和向量空间方法的一些基本概念。更具体的,分布式理论的概念和术语记录标准将会被检视,然后是一个关于线性与非线性维度减少的简单讨论,以及这些方法对于词义认知的平行分布式方法的帮助。


T6:大规模结构化预测的方法和理论

讲者:Xu Sun、Yansong Feng

内容介绍:许多重要的NLP任务都被转化成一个结构化的预测难题,并尝试从输入中预测某种形式的结构化输出。结构化预测的例子包括POS 标签,也就是种类识别、PCFG 分析、依存关系语法分析、机器翻译等等。使用结构化预测来完成具体的NLP任务,面临以下几个挑战:① 模型选择:在众多拥有不同特征的模型和算法中,我们针对特定的NLP任务,该选择哪一个?② 训练:如何有效地训练模型参数?③ 过拟合:为了在测试数据上获得较好的准确率,对训练数据中的过拟合进行控制变得很重要。


在结构性预测中,如何控制过拟合的风险?这一讲座会对最近的模型和方法进展提供清晰的概览,并在NLP任务中使用结构化预测时解决上述问题。我们将会引入大型的编辑方法(比如,认知器、MIRA)、图像模型(CRF)和深度学习方法(RNN, LSTM),并分别展示这些方法在NLP应用中的优势和劣势。对于训练算法,我们将会介绍在线/随机训练方法,同时,我们也会介绍并行的在线/随机学习算法和理论,来推动训练(例如,Hogwild 算法)。在控制训练数据的过拟合问题上,我们将会介绍加权重规则化、结构规则化和简单规则化的方法。


文章转自新智元公众号,原文链接

相关文章
|
2月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
74 3
|
2月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
46 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
2月前
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
85 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
2月前
|
机器学习/深度学习 存储 自然语言处理
从理论到实践:如何使用长短期记忆网络(LSTM)改善自然语言处理任务
【10月更文挑战第7天】随着深度学习技术的发展,循环神经网络(RNNs)及其变体,特别是长短期记忆网络(LSTMs),已经成为处理序列数据的强大工具。在自然语言处理(NLP)领域,LSTM因其能够捕捉文本中的长期依赖关系而变得尤为重要。本文将介绍LSTM的基本原理,并通过具体的代码示例来展示如何在实际的NLP任务中应用LSTM。
194 4
|
2月前
|
编解码 人工智能 文件存储
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
61 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
|
3月前
|
机器学习/深度学习 自然语言处理 计算机视觉
用于图像和用于自然语言的神经网络区别
主要区别总结 数据结构:图像数据是二维像素矩阵,具有空间结构;文本数据是一维序列,具有时间结构。 网络架构:图像处理常用CNN,注重局部特征提取;自然语言处理常用RNN/LSTM/Transformer,注重序列和全局依赖。 操作单元:图像处理中的卷积核在空间上操作;自然语言处理中的注意力机制在序列上操作。
30 2
|
4月前
|
存储 网络架构
网络速率与下载速率
【8月更文挑战第8天】
294 1
网络速率与下载速率
|
4月前
|
机器学习/深度学习 算法 网络架构
神经网络架构殊途同归?ICML 2024论文:模型不同,但学习内容相同
【8月更文挑战第3天】《神经语言模型的缩放定律》由OpenAI研究人员完成并在ICML 2024发表。研究揭示了模型性能与大小、数据集及计算资源间的幂律关系,表明增大任一资源均可预测地提升性能。此外,论文指出模型宽度与深度对性能影响较小,较大模型在更多数据上训练能更好泛化,且能高效利用计算资源。研究提供了训练策略建议,对于神经语言模型优化意义重大,但也存在局限性,需进一步探索。论文链接:[https://arxiv.org/abs/2001.08361]。
57 1
|
4月前
|
人工智能 算法 安全
【2023 年第十三届 MathorCup 高校数学建模挑战赛】C 题 电商物流网络包裹应急调运与结构优化问题 赛后总结之31页论文及代码
本文总结了2023年第十三届MathorCup高校数学建模挑战赛C题的解题过程,详细阐述了电商物流网络在面临突发事件时的包裹应急调运与结构优化问题,提出了基于时间序列预测、多目标优化、遗传算法和重要性评价模型的综合解决方案,并提供了相应的31页论文和代码实现。
87 0
|
4月前
|
机器学习/深度学习 自然语言处理 PyTorch
【NLP】讯飞英文学术论文分类挑战赛Top10开源多方案--6 提分方案
在讯飞英文学术论文分类挑战赛中的提分技巧和实现方法,包括数据增强、投票融合、伪标签等策略,以及加快模型训练的技巧,如混合精度训练和使用AdamW优化器等。
49 0

热门文章

最新文章