自然语言处理顶级会议 EMNLP 最佳论文出炉,聚焦神经网络 (下载)

本文涉及的产品
图片翻译,图片翻译 100张
文档翻译,文档翻译 1千页
NLP自然语言处理_基础版,每接口每天50万次
简介:

2016 年自然语言处理(NLP)领域的顶级会议——自然语言处理实证方法大会(Empirical Methods in Natural Language Processing,EMNLP)将于11月 1 日至 5 日在美国德克萨斯州奥斯汀市举行。今年网上报名时间10月22日截止,因此本届大会参会人数暂时还无法确定。不过,去年和前年的 EMNLP 大会都有来自学术界和产业界上千人的参与。


根据一位评审的Twitter透露,本次 EMNLP 大会共收到来自 50 多个国家和地区近千篇论文投稿(包含无效投稿),最终录用 266 篇,接收率在 25% 左右,相比今年 8 月在德国柏林举办的自然语言处理顶级会议 ACL(共接收论文 327 篇),本次大会的投稿数量较少,但录取率应该基本持平。在接收的论文中,长论文 179 篇(华人第一作者的有 72 篇),短论文 87 篇(第一作者为华人的有 18 篇)。论文报告仍旧采取口头和海报两种形式,本次大会还特别增设了一个 Poster Spotlight 环节。另外,9 篇被 TACL 接收的论文也会在本届大会上做口头报告。



值得一提的是,本届 EMNLP 大会 Sponsorship Chairs 其中一位是华为诺亚方舟实验室主任李航。李航博士预计在后天(10月18日)召开的 AI WORLD 2016 世界人工智能大会上发表主旨演讲)。这里提前剧透:华为诺亚方舟实验室是华为专注于人工智能和大数据挖掘研究的部门,作为华为人工智能的带头人,李航博士不仅披露了华为诺亚方舟实验室如何通过人工智能创新改革电信行业,还详细介绍了华为使用深度强化学习软件控制网络以及帮助工程师排除网络故障的案例。想要进一步了解更多华为的人工智能技术,现在点击“阅读原文”购票还来得及。


机器学习受重视,单独成为一类


本届 EMNLP 大会涉及自然语言处理的各个领域,“机器学习”毫无悬念仍然成为重点,并且还首次单独出来自成一类(EMNLP 2015 时是“统计机器学习方法”)。大会覆盖的主题包括:计算心理语言;对话和交互系统;话语分析(Discourse Analysis);文本生成(Generation);信息抽取;信息检索与问答;语言与视觉;语言理论和资源;机器学习;机器翻译;多语种和跨语种(Multilinguality and Cross-linguality);自然语言处理应用;标注、组块分析及句法分析;语义;情感分析和意见挖掘;互联网、社交媒体与计算社会科学;口语处理(Spoken Language Processing);文本挖掘;文本分类和主题建模。


其中,语义仍然是比较最火的方向。但是,随着以语音和语言为接口的人机交互系统逐渐升温,对话和交互系统、话语分析、文本生成等方向在本届大会中也得到了重视。得益于近来神经网络的广泛应用,机器翻译有了大幅提升【参见谷歌推出商用神经网络机器翻译系系】,相关论文的投稿数量也有所增长。本届大会还新增了多语种和跨语种(Multilinguality and Cross-linguality)这一研究方向,而 EMNLP 2015 的音韵学、构词法及分词(当时这个方向排在第一)被去掉了。此外,Twitter上有研究者表示,很高兴看到 EMNLP 2016 重新关注了“语言理论和资源”,并且评选出了“最佳资源论文”(详见下文)。


受邀讲者及主旨演讲介绍


本届大会邀请了 3 位讲者:斯坦福大学计算机科学语言学教授、斯坦福语言与信息研究中心(CSLI)主任 Christopher Potts,开源工具包 SRILM 作者、微软研究院的 Andreas Stolcke,以及布朗大学计算机科学和工程学助理教授 Stefanie Tellex。下面就来看看他们的演讲题目和内容吧。


主旨演讲 1:在延伸和近似理性言语行为模型中学习


讲者 Christopher Potts:斯坦福大学计算机科学语言学教授,也是斯坦福语言与信息研究中心(CSLI)的主任。他的主要研究方向是使用计算机方法探索语言中的情感表达,以及语言的生成和阐释如何受到表达的影响。他在2005出版了专著“The Logic of Conventional Implicature”。

【演讲介绍】理性言语行为(RSA)模型把语言使用看成是一个递归过程,其中说话者和倾听者代理对彼此的意图进行推理,以对他们的语言词意以及广泛的 Gricean 线进行丰富和交流。RSA 建立在哲学家 David Lewis 此前的研究,以及其他信号系统,比如最近发展较快的贝叶斯认知模型之上。过去 5 年间,RSA 被证明在语用学的对话暗示,比如比喻、夸张、讽刺等上提供了许多核心的功能。这一方法较高的准确率和自然醒推动了一系列外部的研究,但是,在 NLP 和 AI 中使用还算非常有限,因为精确的模型在多个维度上还算比较受限的。本报告将介绍 RSA 最新的研究进展和核心属性。


主旨演讲 2:你在对我说话吗?基于语言的人机对话探测和多模型方法


讲者 Andreas Stolcke毕业于加利福尼亚大学,曾经是斯坦福国家研究院语音技术研究实验室资深工程师,现就职于微软研究院。 目前在语音领域已经发表超过 200 篇论文。他是著名的开源工具包 SRILM 的作者,IEEE 和 ISCA 院士。

【演讲介绍】随着对话系统变得越来越普遍,我们必须学会如何探测是谁在对系统说话,避免人和人之间的对话被机器误录入。本演讲要解决的就是这个问题,基于个维度:说了什么(词汇信息)、说话方式(声音属性)以及非语言多模式和文本信息。演讲者将会展示研究结果,证明这三方面的结合将能有效解决以上提到的问题。


主旨演讲 3:语言学习模型,人机合作中的行为和感知


讲者 Stefanie Tellex:布朗大学计算机科学和工程学助理教授。她的实验室 Humans To Robots Lab 致力于开发能与人完美合作的机器人。使用语言、手势、概率推理来满足人类的需要,让人人都能拥有合作的机器人。她于 2010 年在 MIT多媒体实验室拿到了博士学位。她是 Wired 评出的“2015年改变科学家的女性”之一,她的研究 2016 年被 MIT 科技评论评为“2016十大突破性技术”。

【演讲介绍】复杂的任务要求机器人不仅能直接与人类交流并合作,还有其他的技能。对合作的沟通要求对语言进行建模,搭建对话与实际含义的桥梁。tefanie Tellex 的研究就是让机器人学习词汇含义的组合模型,让它们可以更好地推理并与人类交流,提升人机合作的速度和准确率。


Workshop 及讲座:重点 聚焦神经网络 


本届大会一共开设了 6 个 Workshop 和 6 个讲座:


  • W1:国际研讨会:社会媒体自然语言处理

  • W2:第二研讨会:语言代码转换的计算方法 

  • W3:第10届SSST研讨会:统计翻译的句法、语义及结构 

  • W4:自然语言处理的结构化预测 

  • W5:NLP与计算社会科学 

  • W6:第七国际研讨会:健康文本挖掘和信息分析 

  • W7:第二研讨会:计算新闻故事情节

  • W8:语言处理的上坡战:将早期成就扩展为鲁棒方法


T1:NLP 神经网络实践:从理论到代码

讲者:Chris Dyer, Yoav Goldberg,Graham Neubig

内容介绍:本讲座旨在让NLP研究者加速与深度学习和神经网络领域的最新技术接轨,并展示如何将他们的想法变为现实。我们将从简单的分类模型(逻辑回归和多层感知器)开始,然后涵盖NLP相关的更多更高级的模型,如序列标记和预测问题的回归网络、结构化网络(如基于句法树的组合结构)、结构化输出空间(序列和数),关注序列和序列间的转导,以及复杂算法状态的特征归纳。 


T2:NLP 中为可扩展联合推理的高级马尔科夫逻辑技术

讲者:Deepak Venugopal, Vibhav Gogate,Vincent Ng

内容介绍:在本讲座中,我们将介绍MLN中提升推理和学习的最新进展,以及使MLN成为NLP应用的“黑盒”的新方法。具体地说,我们将介绍过去几年里MLN研究中出现的一个关键方法:提升推理。提升推理是指利用对称性优势的推理技术,它在MLN中既是精确,又是近似。我们将解释如何用这些推理技术来执行有效的联合推断。我们还将展示我们用于MLN推理和学习的、基于提升推理的新软件包 Alchemy 2.0,展示如何使用它来扩展大型模型和数据集中判断语义相似性、信息提取和问题回答的推理和学习。


T3:自然语言处理中的终身机器学习

讲者:Zhiyuan Chen & Bing Liu

内容介绍:机器学习(ML)已经成为解决许多 NLP 问题的普遍方法。然而,经典的ML范例仍然是孤立学习的。也就是说,给定一个数据集,对数据集执行ML算法,然后生成不使用任何相关知识或先验知识的模型。虽然这种类型的孤立学习非常有效,但它也有严重的局限性,因为它不会积累过去学到的知识,并用过去的知识来帮助未来的学习。这是人类学习和人类智能的特征。终身机器学习(LML)旨在实现这种能力。具体来说,它旨在设计和开发像人类一样学习的计算系统和算法,即积累过去学到的知识,并利用这些知识来帮助未来的学习。本讲座中,我们将介绍LML的现有研究,表明LML非常适合于NLP任务,并且有潜力帮助NLP取得更大进展。  


T4:情感分析神经网络 

讲者:Yue ZhangDuy Tin Vo 

内容介绍:情感分析一直是自然语言处理(NLP)的一个主要研究课题。本讲座将介绍用于情感分析的神经网络模型,讨论词汇嵌入、序列模型和数结构模型的计算以及他们在词汇、句子及篇章层面上的应用,以及细粒度情感分析。本讲座涵盖一系列神经网络模型(如CNN,RNN,RecNN,LSTM)及其扩展,它们用于四个主要的情感分析任务:情感导向嵌入;句子层面情感分析;篇章层面情感分析;细粒度情感分析。 

 

T5:  跨语言NLP应用中的连续向量空间

讲者:Rafael E. Banchs

内容介绍:几何学中向量空间内的距离概念,加上词义与语义被证明在许多单一自然语言出路应用中很有用。最新的证据表明,这一方法在跨语言背景中也很有用。在本讲座中,我们讨论了特定跨语言自然语言处理应用中向量空间模型范式的最新进展,对其背后的理论背景进行回顾。讲座介绍了关于分布式词义和向量空间方法的一些基本概念。更具体的,分布式理论的概念和术语记录标准将会被检视,然后是一个关于线性与非线性维度减少的简单讨论,以及这些方法对于词义认知的平行分布式方法的帮助。


T6:大规模结构化预测的方法和理论

讲者:Xu Sun、Yansong Feng

内容介绍:许多重要的NLP任务都被转化成一个结构化的预测难题,并尝试从输入中预测某种形式的结构化输出。结构化预测的例子包括POS 标签,也就是种类识别、PCFG 分析、依存关系语法分析、机器翻译等等。使用结构化预测来完成具体的NLP任务,面临以下几个挑战:① 模型选择:在众多拥有不同特征的模型和算法中,我们针对特定的NLP任务,该选择哪一个?② 训练:如何有效地训练模型参数?③ 过拟合:为了在测试数据上获得较好的准确率,对训练数据中的过拟合进行控制变得很重要。


在结构性预测中,如何控制过拟合的风险?这一讲座会对最近的模型和方法进展提供清晰的概览,并在NLP任务中使用结构化预测时解决上述问题。我们将会引入大型的编辑方法(比如,认知器、MIRA)、图像模型(CRF)和深度学习方法(RNN, LSTM),并分别展示这些方法在NLP应用中的优势和劣势。对于训练算法,我们将会介绍在线/随机训练方法,同时,我们也会介绍并行的在线/随机学习算法和理论,来推动训练(例如,Hogwild 算法)。在控制训练数据的过拟合问题上,我们将会介绍加权重规则化、结构规则化和简单规则化的方法。


文章转自新智元公众号,原文链接

相关文章
|
5月前
|
机器学习/深度学习 自然语言处理 数据可视化
基于图神经网络的自然语言处理:融合LangGraph与大型概念模型的情感分析实践
本文探讨了在企业数字化转型中,大型概念模型(LCMs)与图神经网络结合处理非结构化文本数据的技术方案。LCMs突破传统词汇级处理局限,以概念级语义理解为核心,增强情感分析、实体识别和主题建模能力。通过构建基于LangGraph的混合符号-语义处理管道,整合符号方法的结构化优势与语义方法的理解深度,实现精准的文本分析。具体应用中,该架构通过预处理、图构建、嵌入生成及GNN推理等模块,完成客户反馈的情感分类与主题聚类。最终,LangGraph工作流编排确保各模块高效协作,为企业提供可解释性强、业务价值高的分析结果。此技术融合为挖掘非结构化数据价值、支持数据驱动决策提供了创新路径。
354 6
基于图神经网络的自然语言处理:融合LangGraph与大型概念模型的情感分析实践
|
1月前
|
机器学习/深度学习 存储 自然语言处理
NLP参数高效迁移学习:Adapter方法——论文简读
本研究深入探讨了自然语言处理中参数高效的迁移学习方法——Adapter。通过在预训练模型中引入小型可训练模块,仅调整少量额外参数即可完成模型适配。理论分析表明,该方法在初始化时保持网络行为稳定,并通过瓶颈结构大幅压缩参数规模。实验结果显示,Adapter在GLUE基准上仅用3.6%的参数便达到接近全微调的性能,且对学习率具有更强的鲁棒性。相比传统微调和其他参数高效方法,Adapter在多任务场景下展现出更优的存储效率与泛化能力,为大规模模型的实际部署提供了高效可行的解决方案。
124 7
|
1月前
|
机器学习/深度学习 资源调度 算法框架/工具
AI-ANNE: 将神经网络迁移到微控制器的深度探索——论文阅读
AI-ANNE框架探索将深度学习模型迁移至微控制器的可行路径,基于MicroPython在Raspberry Pi Pico上实现神经网络核心组件,支持本地化推理,推动TinyML在边缘设备中的应用。
121 10
|
1月前
|
机器学习/深度学习 边缘计算 算法
SEENN: 迈向时间脉冲早退神经网络——论文阅读
SEENN提出一种时间脉冲早退神经网络,通过自适应调整每个样本的推理时间步数,有效平衡脉冲神经网络的准确率与计算效率。该方法基于置信度判断或强化学习策略,在保证高精度的同时显著降低能耗与延迟,适用于边缘计算与实时处理场景。
119 13
|
1月前
|
机器学习/深度学习 缓存 算法
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
2025年华为杯A题|通用神经网络处理器下的核内调度问题研究生数学建模|思路、代码、论文|持续更新中....
303 1
|
5月前
|
人工智能 算法 异构计算
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
近日,阿里云基础网络技术5篇论文被NSDI 2025主会录用。研究涵盖大模型训练网络故障诊断、仿真、容器网络性能诊断、CDN流控算法智能选择及GPU解耦推理优化等领域。其中,《Evolution of Aegis》提出增强现有体系+训练过程感知的两阶段演进路线,显著降低故障诊断耗时;《SimAI》实现高精度大模型集群训练模拟;《Learning Production-Optimized Congestion Control Selection》通过AliCCS优化CDN拥塞控制;《Prism》设计全新GPU解耦推理方案;《ScalaCN》解决容器化RDMA场景性能问题。
227 7
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
|
9月前
|
SQL Cloud Native API
NSDI'24 | 阿里云飞天洛神云网络论文解读——《Poseidon》揭秘新型超高性能云网络控制器
NSDI‘24于4月16-18日在美国加州圣塔克拉拉市举办,汇聚全球网络系统领域的专家。阿里云飞天洛神云网络的两篇论文入选,标志着其创新能力获广泛认可。其中,《Poseidon: A Consolidated Virtual Network Controller that Manages Millions of Tenants via Config Tree》介绍了波塞冬平台,该平台通过统一控制器架构、高性能配置计算引擎等技术,实现了对超大规模租户和设备的高效管理,显著提升了云网络性能与弹性。实验结果显示,波塞冬在启用EIP时的完成时间比Top 5厂商分别快1.8至55倍和2.6至4.8倍。
992 146
|
7月前
|
SQL 缓存 Cloud Native
NSDI'24 | 阿里云飞天洛神云网络论文解读——《Poseidon》揭秘新型超高性能云网络控制器
NSDI'24 | 阿里云飞天洛神云网络论文解读——《Poseidon》揭秘新型超高性能云网络控制器
262 63
|
5月前
|
canal 负载均衡 智能网卡
阿里云洛神云网络论文入选SIGCOMM'25主会,相关实习生岗位火热招聘中
阿里云飞天洛神云网络的两项核心技术Nezha和Hermes被SIGCOMM 2025主会录用。Nezha通过计算网络解耦实现vSwitch池化架构,大幅提升网络性能;Hermes则提出用户态引导I/O事件通知框架,优化L7负载均衡。这两项技术突破解决了云网络中的关键问题,展现了阿里云在网络领域的领先实力。
932 2