ACL 2020:微软摘得最佳论文,Bengio论文获时间检验奖,大陆论文量第二

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: 在陆续放出时间检验奖、终身成就奖和杰出服务奖之后,ACL 2020 终于公布了今年的最佳论文奖。该奖项由来自微软研究院、华盛顿大学和加州大学欧文分校的研究者摘得,主题是与任务无关的 NLP 模型测试方法。

微信图片_20211204001921.png


ACL 是自然语言处理领域的顶级会议,根据刚刚发布的最新版 Google Scholar Metrics,ACL 继续领跑计算语言学领域,h5 指数达到 135。

今年的 ACL 会议于本月 5 日至 10 日在线上召开。此次会议公布了最佳论文、最佳主题论文、最佳 demo 论文、时间检验奖等多个奖项。

此外,大会官方也介绍了今年的接收论文、热门研究主题等数据。

ACL 2020 共收到投稿 3429 篇,创下了 ACL 投稿数量的新纪录。此次会议共接收论文 779 篇,包括 571 篇长论文和 208 篇短论文,论文接收率为 22.7%。


微信图片_20211204001926.jpg


接下来,我们看下 ACL 2020 的热门研究主题。


微信图片_20211204001929.png


用于 NLP 的机器学习、对话与交互技术、机器翻译、信息提取和 NLP 应用是此次会议最热门的 5 个研究主题,每个都有超过 200 篇论文投稿。其中「用于 NLP 的机器学习」主题的论文投稿接近 300 篇(296)。


微信图片_20211204001933.jpg


此外,大会公布了论文提交数量最多的 25 个国家或地区,中国大陆以 1084 篇的提交量位列第一,其次是美国。


从接收论文的数量看,排在前 5 位的国家或地区分别是:美国(305 篇),中国大陆(185 篇),英国(50 篇),德国(44 篇),日本(24 篇)。


接下来就是今天的重头戏——奖项了。

最佳论文奖


ACL 2020 最佳论文奖项由来自微软研究院、华盛顿大学、加州大学欧文分校的研究人员摘得,该研究提出了一种与任务无关的 NLP 模型测试方法。


微信图片_20211204001936.png


论文链接:https://www.aclweb.org/anthology/2020.acl-main.442.pdf

简介:尽管衡量留出(held-out)准确率是评估模型泛化性能的主要方法,但它通常会高估 NLP 模型的性能,而其他评估模型的替代性方法要么专注于单项任务,要么只看特定行为。


受软件工程中行为测试原则的启发,这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用语言能力和测试类型以促进全面的测试,还包括一个软件工具,能够快速生成大量不同测试案例。

研究人员在三项任务中测试了 CheckList 的效果,在商业化模型和 SOTA 模型中都发现了严重的问题。一项用户调查显示,负责商业化情感分析模型的团队在一个经过大量测试的模型中发现了新的 bug。而在另一项用户调查中,使用 CheckList 的 NLP 从业者创建的测试数量是未使用 CheckList 的两倍,发现的 bug 数量是后者的三倍


此外,大会还公布了最佳论文荣誉提名奖,共有两篇论文获得此奖项。


微信图片_20211204001940.png


最佳主题论文奖


此次会议的最佳主题论文奖由来自美国华盛顿大学和德国萨尔大学的研究者摘得。


微信图片_20211204001943.png


论文链接:https://www.aclweb.org/anthology/2020.acl-main.463/


简介:大型神经语言模型在许多 NLP 任务上获得成功。但是,该研究发现这些成功有时会被过度夸大。这些模型经常被描述成「理解」语言或者捕获语言的「意义」。该研究认为,仅接受形式训练的系统不具备学习语言意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下,该研究认为,清晰地理解「形式」与「意义」的区别有助于引导该领域在自然语言理解层面有更科学的发展。

此外,会议还公布了最佳主题论文提名奖:


微信图片_20211204001946.png


最佳 Demo 论文


微信图片_20211204001950.png


论文链接:https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf


简介:这项研究提出了首个综合开源的多媒体知识提取系统,该系统可基于不同的内容源和语言提取大量非结构化异构多媒体数据,并遵循丰富细粒度本体,创建出连贯且结构化的知识库、索引实体、关系和事件。

该研究提出的系统 GAIA 可实现复杂图 query 的无缝搜索,并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。



以下两篇论文获得了 ACL 2020 最佳 demo 论文荣誉提名奖:


微信图片_20211204001953.png


除了最佳论文、最佳主题论文和最佳 Demo 论文之外,ACL 2020 还公布了时间检验奖、终身成就奖,以及杰出服务奖。


时间检验奖


ACL 2020 的时间检验奖(Test of Time Awards)颁给了 4 篇论文,其中 2 篇发表于 1995 年,经受住了 25 年的时间检验,另外两篇发表于 2010 年。


论文 1:Centering: A Framework for Modeling the Local Coherence of Discourse


微信图片_20211204001956.png



这篇论文于 1995 年发表在 CL 上,被引用次数高达 2700 多次。

该论文是计算对话(computational discourse)领域最重要的论文之一,融合了理论语言学、心理语言学和形式语义学,展示了「语言学」在「计算语言学」中的力量。

论文 2:Unsupervised Word Sense Disambiguation Rivaling Supervised Methods


微信图片_20211204001959.jpg



这篇论文于 1995 年发表在 ACL 上,被引用次数也在 2700 次以上。


该论文开创性地将语言学假设和无监督学习融合起来,展示了统计数据驱动的技术在 NLP 领域中的强大作用。这篇论文探讨的问题——监督学习和无监督学习的性能差距、标注数据的成本,放到现在依旧不过时。

论文 3:Distributional Memory: A General Framework for Corpus-Based Semantics


微信图片_20211204002002.png



本文于 2010 年发表在 CL 上,被引用次数近 700 次。


该论文开创性地提倡词汇语义学的通用学得表征,提出自监督预训练方法(类似于 word2vec、BERT 中所使用的),促进了计算语义学、认知建模和语言学理论之间的联系。


论文 4:Word representations: A simple and general method for semi-supervised learning


微信图片_20211204002005.png



这篇论文于 2010 年发表在 ACL 上,被引用次数超过 2200 次。


该论文是将向量表示用于 NLP 任务的里程碑式著作。它在提出词嵌入方面早了大约五年,并首次在多项 NLP 任务上对比了 distributional 和 distributed(分布式)词表示,论文倡导的思想至今在 NLP 领域占据中心地位。


终身成就奖


大会将终身成就奖颁给了爱丁堡大学荣休教授 Bonnie Webber。ACL 组委会表示,该奖项旨在表彰她在篇章分析领域做出的杰出贡献。


微信图片_20211204002013.png


1978 年,Bonnie Webber 在哈佛大学获得博士学位。之后在宾夕法尼亚大学任教多年,后进入爱丁堡大学任教。2016 年,她从爱丁堡大学退休,成为爱丁堡大学语言、认知和计算研究所智能系统的名誉教授。


Bonnie Webber 致力于篇章研究,参与了宾州篇章树库(Penn Discourse TreeBank)的开发


她的博士论文《A Formal Approach to Discourse Anaphora》使用形式逻辑对自然语言语句的意义进行建模。此外,Bonnie Webber 与人合著《模拟人类:计算机图形动画和控制》一书,并参与编写了《Elements of Discourse Understanding》、《Readings in Artificial Intelligence》等书籍。


Bonnie Webber 于 1980 年担任 ACL 主席,1991 年成为 AAAI Fellow,2004 年当选爱丁堡皇家学会会士。2012 年因其在篇章结构和基于篇章的解释方面的突出贡献,Bonnie Webber 被授予 ACL Fellow。在本届 ACL 大会上,她获得 ACL 终身成就奖。


出生于 1946 年,现年 74 岁的 Bonnie Webber 仍然笔耕不辍。从她的谷歌学术页面,我们可以看到她 2019 年参与的论文数量达 12 篇之多。


微信图片_20211204002039.png


杰出服务奖

ACL 2020 将今年的杰出服务奖颁给了多伦多大学计算机语言学教授 Graeme Hirst。


微信图片_20211204002042.jpg


Graeme Hirst 的研究兴趣为:计算机语言学和自然语言处理,及其在医疗卫生、社会科学和人文科学中的应用。他是《Human Language Technologies》综合丛书的编辑,曾获得加拿大人工智能协会颁发的终身成就奖。


微信图片_20211204002046.png

此外,Graeme Hirst 于 2004-05 年担任 ACL 北美分会的主席,2008-2017 年担任 ACL 财务主管,并于 2019 年成为 ACL Fellow。


ACL 主席 Hinrich Schutze 在颁奖时表示:「这些年来,Graeme Hirst 一直负责 ACL 的财务事宜,始终深入参与大会的组织流程等相关工作,为大会的顺利举办做出了突出贡献。感谢 Graeme Hirst 一直以来为 ACL 做出的贡献。」


2020 WAIC· 开发者日将于 7 月 10 日 - 11 日在线上举办,设置主论坛、分论坛、高峰对话、开发者日百度公开课、开源开放 Demo Day、黑客马拉松等多个环节。添加机器之心小助手微信,备注 “开发者日”,小助手会邀你入群,围观直播。


作为开发者日最重要的环节之一,主论坛都有哪些精彩内容?详细日程如下:


微信图片_20211204002050.png

相关文章
|
存储 机器学习/深度学习 Python
NumPy 高级教程——存储和加载数据
NumPy 高级教程——存储和加载数据 【1月更文挑战第1篇】
461 3
NumPy 高级教程——存储和加载数据
快速生成软著申请时所需的60页代码文档的免费工具
本篇文章主要讲解,制作软著代码文档的高效方法,当然不可能手动一个个复制了,这显然太笨拙,他浪费时间了。这里我给大家介绍一个更快的方式。
8663 0
|
6月前
|
云安全 人工智能 安全
大模型+安全,阿里云发布AI云盾系列产品!
阿里云正式发布AI云盾(Cloud Shield for AI)系列安全产品,包括AI安全护栏、升级云安全中心、WAAP和云防火墙。该系列提供模型输入输出安全、AI-BOM、AI-SPM等能力,构建三层模型安全防御体系,涵盖AI基础设施、大模型及应用安全。其中,AI安全护栏保障生成式AI合规性,实时检测威胁并维护模型健康,支持多模态内容交叉检测的All In One API调用模式。此外,AI-BOM与AI-SPM助力客户持续监控AI资产及安全状态。
783 3
大模型+安全,阿里云发布AI云盾系列产品!
|
4月前
|
云安全 人工智能 供应链
2025全球数字经济大会—云智算安全论坛暨第三届“SecGo论坛”成功召开!共筑安全新生态
2025年7月3日,全球数字经济大会—云智算安全论坛暨第三届“SecGo论坛”在北京召开。论坛聚焦人工智能安全、云安全与软件供应链治理,汇聚行业专家共商高质量发展路径。中国信通院发布多项研究成果与标准,并联合企业发起多项倡议与计划,推动构建安全可信的数字生态。
217 0
|
4月前
|
安全 vr&ar
降本增效神器:AR眼镜远程协助在数字化工业的应用
AR眼镜助力工业维修,实现远程实时协助,提升效率,降低成本,推动工业智能化发展。
|
6月前
|
人工智能 算法 异构计算
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
近日,阿里云基础网络技术5篇论文被NSDI 2025主会录用。研究涵盖大模型训练网络故障诊断、仿真、容器网络性能诊断、CDN流控算法智能选择及GPU解耦推理优化等领域。其中,《Evolution of Aegis》提出增强现有体系+训练过程感知的两阶段演进路线,显著降低故障诊断耗时;《SimAI》实现高精度大模型集群训练模拟;《Learning Production-Optimized Congestion Control Selection》通过AliCCS优化CDN拥塞控制;《Prism》设计全新GPU解耦推理方案;《ScalaCN》解决容器化RDMA场景性能问题。
290 7
阿里云基础网络技术5篇论文入选全球网络顶会NSDI
|
网络安全 虚拟化 Windows
windows 11安装openSSH server 遇到的"kex_exchange_identification: read: Connection reset"问题
windows 11安装openSSH server 遇到的"kex_exchange_identification: read: Connection reset"问题
1983 60
|
存储 分布式计算 算法
大数据中一致性检查
【10月更文挑战第20天】
881 2