自然语言处理顶级会议 EMNLP 最佳论文出炉,聚焦神经网络 (下载)

本文涉及的产品
文本翻译,文本翻译 100万字符
NLP自然语言处理_基础版,每接口每天50万次
图片翻译,图片翻译 100张
简介:

2016 年自然语言处理(NLP)领域的顶级会议——自然语言处理实证方法大会(Empirical Methods in Natural Language Processing,EMNLP)将于11月 1 日至 5 日在美国德克萨斯州奥斯汀市举行。今年网上报名时间10月22日截止,因此本届大会参会人数暂时还无法确定。不过,去年和前年的 EMNLP 大会都有来自学术界和产业界上千人的参与。


根据一位评审的Twitter透露,本次 EMNLP 大会共收到来自 50 多个国家和地区近千篇论文投稿(包含无效投稿),最终录用 266 篇,接收率在 25% 左右,相比今年 8 月在德国柏林举办的自然语言处理顶级会议 ACL(共接收论文 327 篇),本次大会的投稿数量较少,但录取率应该基本持平。在接收的论文中,长论文 179 篇(华人第一作者的有 72 篇),短论文 87 篇(第一作者为华人的有 18 篇)。论文报告仍旧采取口头和海报两种形式,本次大会还特别增设了一个 Poster Spotlight 环节。另外,9 篇被 TACL 接收的论文也会在本届大会上做口头报告。



值得一提的是,本届 EMNLP 大会 Sponsorship Chairs 其中一位是华为诺亚方舟实验室主任李航。李航博士预计在后天(10月18日)召开的 AI WORLD 2016 世界人工智能大会上发表主旨演讲)。这里提前剧透:华为诺亚方舟实验室是华为专注于人工智能和大数据挖掘研究的部门,作为华为人工智能的带头人,李航博士不仅披露了华为诺亚方舟实验室如何通过人工智能创新改革电信行业,还详细介绍了华为使用深度强化学习软件控制网络以及帮助工程师排除网络故障的案例。想要进一步了解更多华为的人工智能技术,现在点击“阅读原文”购票还来得及。


机器学习受重视,单独成为一类


本届 EMNLP 大会涉及自然语言处理的各个领域,“机器学习”毫无悬念仍然成为重点,并且还首次单独出来自成一类(EMNLP 2015 时是“统计机器学习方法”)。大会覆盖的主题包括:计算心理语言;对话和交互系统;话语分析(Discourse Analysis);文本生成(Generation);信息抽取;信息检索与问答;语言与视觉;语言理论和资源;机器学习;机器翻译;多语种和跨语种(Multilinguality and Cross-linguality);自然语言处理应用;标注、组块分析及句法分析;语义;情感分析和意见挖掘;互联网、社交媒体与计算社会科学;口语处理(Spoken Language Processing);文本挖掘;文本分类和主题建模。


其中,语义仍然是比较最火的方向。但是,随着以语音和语言为接口的人机交互系统逐渐升温,对话和交互系统、话语分析、文本生成等方向在本届大会中也得到了重视。得益于近来神经网络的广泛应用,机器翻译有了大幅提升【参见谷歌推出商用神经网络机器翻译系系】,相关论文的投稿数量也有所增长。本届大会还新增了多语种和跨语种(Multilinguality and Cross-linguality)这一研究方向,而 EMNLP 2015 的音韵学、构词法及分词(当时这个方向排在第一)被去掉了。此外,Twitter上有研究者表示,很高兴看到 EMNLP 2016 重新关注了“语言理论和资源”,并且评选出了“最佳资源论文”(详见下文)。


受邀讲者及主旨演讲介绍


本届大会邀请了 3 位讲者:斯坦福大学计算机科学语言学教授、斯坦福语言与信息研究中心(CSLI)主任 Christopher Potts,开源工具包 SRILM 作者、微软研究院的 Andreas Stolcke,以及布朗大学计算机科学和工程学助理教授 Stefanie Tellex。下面就来看看他们的演讲题目和内容吧。


主旨演讲 1:在延伸和近似理性言语行为模型中学习


讲者 Christopher Potts:斯坦福大学计算机科学语言学教授,也是斯坦福语言与信息研究中心(CSLI)的主任。他的主要研究方向是使用计算机方法探索语言中的情感表达,以及语言的生成和阐释如何受到表达的影响。他在2005出版了专著“The Logic of Conventional Implicature”。

【演讲介绍】理性言语行为(RSA)模型把语言使用看成是一个递归过程,其中说话者和倾听者代理对彼此的意图进行推理,以对他们的语言词意以及广泛的 Gricean 线进行丰富和交流。RSA 建立在哲学家 David Lewis 此前的研究,以及其他信号系统,比如最近发展较快的贝叶斯认知模型之上。过去 5 年间,RSA 被证明在语用学的对话暗示,比如比喻、夸张、讽刺等上提供了许多核心的功能。这一方法较高的准确率和自然醒推动了一系列外部的研究,但是,在 NLP 和 AI 中使用还算非常有限,因为精确的模型在多个维度上还算比较受限的。本报告将介绍 RSA 最新的研究进展和核心属性。


主旨演讲 2:你在对我说话吗?基于语言的人机对话探测和多模型方法


讲者 Andreas Stolcke毕业于加利福尼亚大学,曾经是斯坦福国家研究院语音技术研究实验室资深工程师,现就职于微软研究院。 目前在语音领域已经发表超过 200 篇论文。他是著名的开源工具包 SRILM 的作者,IEEE 和 ISCA 院士。

【演讲介绍】随着对话系统变得越来越普遍,我们必须学会如何探测是谁在对系统说话,避免人和人之间的对话被机器误录入。本演讲要解决的就是这个问题,基于个维度:说了什么(词汇信息)、说话方式(声音属性)以及非语言多模式和文本信息。演讲者将会展示研究结果,证明这三方面的结合将能有效解决以上提到的问题。


主旨演讲 3:语言学习模型,人机合作中的行为和感知


讲者 Stefanie Tellex:布朗大学计算机科学和工程学助理教授。她的实验室 Humans To Robots Lab 致力于开发能与人完美合作的机器人。使用语言、手势、概率推理来满足人类的需要,让人人都能拥有合作的机器人。她于 2010 年在 MIT多媒体实验室拿到了博士学位。她是 Wired 评出的“2015年改变科学家的女性”之一,她的研究 2016 年被 MIT 科技评论评为“2016十大突破性技术”。

【演讲介绍】复杂的任务要求机器人不仅能直接与人类交流并合作,还有其他的技能。对合作的沟通要求对语言进行建模,搭建对话与实际含义的桥梁。tefanie Tellex 的研究就是让机器人学习词汇含义的组合模型,让它们可以更好地推理并与人类交流,提升人机合作的速度和准确率。


Workshop 及讲座:重点 聚焦神经网络 


本届大会一共开设了 6 个 Workshop 和 6 个讲座:


  • W1:国际研讨会:社会媒体自然语言处理

  • W2:第二研讨会:语言代码转换的计算方法 

  • W3:第10届SSST研讨会:统计翻译的句法、语义及结构 

  • W4:自然语言处理的结构化预测 

  • W5:NLP与计算社会科学 

  • W6:第七国际研讨会:健康文本挖掘和信息分析 

  • W7:第二研讨会:计算新闻故事情节

  • W8:语言处理的上坡战:将早期成就扩展为鲁棒方法


T1:NLP 神经网络实践:从理论到代码

讲者:Chris Dyer, Yoav Goldberg,Graham Neubig

内容介绍:本讲座旨在让NLP研究者加速与深度学习和神经网络领域的最新技术接轨,并展示如何将他们的想法变为现实。我们将从简单的分类模型(逻辑回归和多层感知器)开始,然后涵盖NLP相关的更多更高级的模型,如序列标记和预测问题的回归网络、结构化网络(如基于句法树的组合结构)、结构化输出空间(序列和数),关注序列和序列间的转导,以及复杂算法状态的特征归纳。 


T2:NLP 中为可扩展联合推理的高级马尔科夫逻辑技术

讲者:Deepak Venugopal, Vibhav Gogate,Vincent Ng

内容介绍:在本讲座中,我们将介绍MLN中提升推理和学习的最新进展,以及使MLN成为NLP应用的“黑盒”的新方法。具体地说,我们将介绍过去几年里MLN研究中出现的一个关键方法:提升推理。提升推理是指利用对称性优势的推理技术,它在MLN中既是精确,又是近似。我们将解释如何用这些推理技术来执行有效的联合推断。我们还将展示我们用于MLN推理和学习的、基于提升推理的新软件包 Alchemy 2.0,展示如何使用它来扩展大型模型和数据集中判断语义相似性、信息提取和问题回答的推理和学习。


T3:自然语言处理中的终身机器学习

讲者:Zhiyuan Chen & Bing Liu

内容介绍:机器学习(ML)已经成为解决许多 NLP 问题的普遍方法。然而,经典的ML范例仍然是孤立学习的。也就是说,给定一个数据集,对数据集执行ML算法,然后生成不使用任何相关知识或先验知识的模型。虽然这种类型的孤立学习非常有效,但它也有严重的局限性,因为它不会积累过去学到的知识,并用过去的知识来帮助未来的学习。这是人类学习和人类智能的特征。终身机器学习(LML)旨在实现这种能力。具体来说,它旨在设计和开发像人类一样学习的计算系统和算法,即积累过去学到的知识,并利用这些知识来帮助未来的学习。本讲座中,我们将介绍LML的现有研究,表明LML非常适合于NLP任务,并且有潜力帮助NLP取得更大进展。  


T4:情感分析神经网络 

讲者:Yue ZhangDuy Tin Vo 

内容介绍:情感分析一直是自然语言处理(NLP)的一个主要研究课题。本讲座将介绍用于情感分析的神经网络模型,讨论词汇嵌入、序列模型和数结构模型的计算以及他们在词汇、句子及篇章层面上的应用,以及细粒度情感分析。本讲座涵盖一系列神经网络模型(如CNN,RNN,RecNN,LSTM)及其扩展,它们用于四个主要的情感分析任务:情感导向嵌入;句子层面情感分析;篇章层面情感分析;细粒度情感分析。 

 

T5:  跨语言NLP应用中的连续向量空间

讲者:Rafael E. Banchs

内容介绍:几何学中向量空间内的距离概念,加上词义与语义被证明在许多单一自然语言出路应用中很有用。最新的证据表明,这一方法在跨语言背景中也很有用。在本讲座中,我们讨论了特定跨语言自然语言处理应用中向量空间模型范式的最新进展,对其背后的理论背景进行回顾。讲座介绍了关于分布式词义和向量空间方法的一些基本概念。更具体的,分布式理论的概念和术语记录标准将会被检视,然后是一个关于线性与非线性维度减少的简单讨论,以及这些方法对于词义认知的平行分布式方法的帮助。


T6:大规模结构化预测的方法和理论

讲者:Xu Sun、Yansong Feng

内容介绍:许多重要的NLP任务都被转化成一个结构化的预测难题,并尝试从输入中预测某种形式的结构化输出。结构化预测的例子包括POS 标签,也就是种类识别、PCFG 分析、依存关系语法分析、机器翻译等等。使用结构化预测来完成具体的NLP任务,面临以下几个挑战:① 模型选择:在众多拥有不同特征的模型和算法中,我们针对特定的NLP任务,该选择哪一个?② 训练:如何有效地训练模型参数?③ 过拟合:为了在测试数据上获得较好的准确率,对训练数据中的过拟合进行控制变得很重要。


在结构性预测中,如何控制过拟合的风险?这一讲座会对最近的模型和方法进展提供清晰的概览,并在NLP任务中使用结构化预测时解决上述问题。我们将会引入大型的编辑方法(比如,认知器、MIRA)、图像模型(CRF)和深度学习方法(RNN, LSTM),并分别展示这些方法在NLP应用中的优势和劣势。对于训练算法,我们将会介绍在线/随机训练方法,同时,我们也会介绍并行的在线/随机学习算法和理论,来推动训练(例如,Hogwild 算法)。在控制训练数据的过拟合问题上,我们将会介绍加权重规则化、结构规则化和简单规则化的方法。


文章转自新智元公众号,原文链接

相关文章
|
3月前
|
机器学习/深度学习 人工智能
类人神经网络再进一步!DeepMind最新50页论文提出AligNet框架:用层次化视觉概念对齐人类
【10月更文挑战第18天】这篇论文提出了一种名为AligNet的框架,旨在通过将人类知识注入神经网络来解决其与人类认知的不匹配问题。AligNet通过训练教师模型模仿人类判断,并将人类化的结构和知识转移至预训练的视觉模型中,从而提高模型在多种任务上的泛化能力和稳健性。实验结果表明,人类对齐的模型在相似性任务和出分布情况下表现更佳。
87 3
|
4天前
|
负载均衡 芯片 异构计算
NSDI'24 | 阿里云飞天洛神云网络论文解读——《LuoShen》揭秘新型融合网关 洛神云网关
NSDI‘24于4月16-18日在美国圣塔克拉拉市举办,阿里云飞天洛神云网络首次中稿NSDI,两篇论文入选。其中《LuoShen: A Hyper-Converged Programmable Gateway for Multi-Tenant Multi-Service Edge Clouds》提出超融合网关LuoShen,基于Tofino、FPGA和CPU的新型硬件形态,将公有云VPC设施部署到边缘机柜中,实现小型化、低成本和高性能。该方案使成本降低75%,空间占用减少87%,并提供1.2Tbps吞吐量,展示了强大的技术竞争力。
|
4天前
|
SQL Cloud Native API
NSDI'24 | 阿里云飞天洛神云网络论文解读——《Poseidon》揭秘新型超高性能云网络控制器
NSDI‘24于4月16-18日在美国加州圣塔克拉拉市举办,汇聚全球网络系统领域的专家。阿里云飞天洛神云网络的两篇论文入选,标志着其创新能力获广泛认可。其中,《Poseidon: A Consolidated Virtual Network Controller that Manages Millions of Tenants via Config Tree》介绍了波塞冬平台,该平台通过统一控制器架构、高性能配置计算引擎等技术,实现了对超大规模租户和设备的高效管理,显著提升了云网络性能与弹性。实验结果显示,波塞冬在启用EIP时的完成时间比Top 5厂商分别快1.8至55倍和2.6至4.8倍。
|
3月前
|
机器学习/深度学习 Web App开发 人工智能
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》这篇论文提出了一种基于YOLOv3-Tiny的轻量级目标检测模型Micro-YOLO,通过渐进式通道剪枝和轻量级卷积层,显著减少了参数数量和计算成本,同时保持了较高的检测性能。
56 2
轻量级网络论文精度笔(一):《Micro-YOLO: Exploring Efficient Methods to Compress CNN based Object Detection Model》
|
3月前
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
103 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
3月前
|
机器学习/深度学习 存储 自然语言处理
从理论到实践:如何使用长短期记忆网络(LSTM)改善自然语言处理任务
【10月更文挑战第7天】随着深度学习技术的发展,循环神经网络(RNNs)及其变体,特别是长短期记忆网络(LSTMs),已经成为处理序列数据的强大工具。在自然语言处理(NLP)领域,LSTM因其能够捕捉文本中的长期依赖关系而变得尤为重要。本文将介绍LSTM的基本原理,并通过具体的代码示例来展示如何在实际的NLP任务中应用LSTM。
297 4
|
3月前
|
编解码 人工智能 文件存储
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
YOLOv7是一种新的实时目标检测器,通过引入可训练的免费技术包和优化的网络架构,显著提高了检测精度,同时减少了参数和计算量。该研究还提出了新的模型重参数化和标签分配策略,有效提升了模型性能。实验结果显示,YOLOv7在速度和准确性上超越了其他目标检测器。
74 0
轻量级网络论文精度笔记(二):《YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object ..》
|
4月前
|
网络协议 算法 网络安全
CCF推荐A类会议和期刊总结(计算机网络领域)
本文总结了中国计算机学会(CCF)推荐的计算机网络领域A类会议和期刊,这些会议和期刊代表了该领域的顶尖水平,汇聚了全球顶尖研究成果并引领前沿发展。A类期刊包括IEEE Journal on Selected Areas in Communications、IEEE Transactions on Mobile Computing等;A类会议包括SIGCOMM、MobiCom等。关注这些平台有助于研究人员紧跟技术前沿。
CCF推荐A类会议和期刊总结(计算机网络领域)
|
4月前
|
传感器 算法 物联网
CCF推荐C类会议和期刊总结:(计算机网络领域)
该文档总结了中国计算机学会(CCF)推荐的计算机网络领域C类会议和期刊,详细列出了各类会议和期刊的全称、出版社、dblp文献网址及研究领域,为研究者提供了广泛的学术交流资源和平台。
CCF推荐C类会议和期刊总结:(计算机网络领域)
|
4月前
|
传感器 网络协议
CCF推荐B类会议和期刊总结:(计算机网络领域)
中国计算机学会(CCF)推荐的B类会议和期刊在计算机网络领域具有较高水平。本文总结了所有B类会议和期刊的详细信息,包括全称、出版社、dblp文献网址及研究领域,涵盖传感器网络、移动网络、网络协议等多个方向,为学者提供重要学术交流平台。
CCF推荐B类会议和期刊总结:(计算机网络领域)

热门文章

最新文章