ACL 2020:微软摘得最佳论文,Bengio论文获时间检验奖,大陆论文量第二

本文涉及的产品
NLP自然语言处理_基础版,每接口每天50万次
NLP 自学习平台,3个模型定制额度 1个月
NLP自然语言处理_高级版,每接口累计50万次
简介: 在陆续放出时间检验奖、终身成就奖和杰出服务奖之后,ACL 2020 终于公布了今年的最佳论文奖。该奖项由来自微软研究院、华盛顿大学和加州大学欧文分校的研究者摘得,主题是与任务无关的 NLP 模型测试方法。

微信图片_20211204001921.png


ACL 是自然语言处理领域的顶级会议,根据刚刚发布的最新版 Google Scholar Metrics,ACL 继续领跑计算语言学领域,h5 指数达到 135。

今年的 ACL 会议于本月 5 日至 10 日在线上召开。此次会议公布了最佳论文、最佳主题论文、最佳 demo 论文、时间检验奖等多个奖项。

此外,大会官方也介绍了今年的接收论文、热门研究主题等数据。

ACL 2020 共收到投稿 3429 篇,创下了 ACL 投稿数量的新纪录。此次会议共接收论文 779 篇,包括 571 篇长论文和 208 篇短论文,论文接收率为 22.7%。


微信图片_20211204001926.jpg


接下来,我们看下 ACL 2020 的热门研究主题。


微信图片_20211204001929.png


用于 NLP 的机器学习、对话与交互技术、机器翻译、信息提取和 NLP 应用是此次会议最热门的 5 个研究主题,每个都有超过 200 篇论文投稿。其中「用于 NLP 的机器学习」主题的论文投稿接近 300 篇(296)。


微信图片_20211204001933.jpg


此外,大会公布了论文提交数量最多的 25 个国家或地区,中国大陆以 1084 篇的提交量位列第一,其次是美国。


从接收论文的数量看,排在前 5 位的国家或地区分别是:美国(305 篇),中国大陆(185 篇),英国(50 篇),德国(44 篇),日本(24 篇)。


接下来就是今天的重头戏——奖项了。

最佳论文奖


ACL 2020 最佳论文奖项由来自微软研究院、华盛顿大学、加州大学欧文分校的研究人员摘得,该研究提出了一种与任务无关的 NLP 模型测试方法。


微信图片_20211204001936.png


论文链接:https://www.aclweb.org/anthology/2020.acl-main.442.pdf

简介:尽管衡量留出(held-out)准确率是评估模型泛化性能的主要方法,但它通常会高估 NLP 模型的性能,而其他评估模型的替代性方法要么专注于单项任务,要么只看特定行为。


受软件工程中行为测试原则的启发,这项研究提出了一种与任务无关的 NLP 模型测试方法——CheckList。CheckList 不仅包含一些通用语言能力和测试类型以促进全面的测试,还包括一个软件工具,能够快速生成大量不同测试案例。

研究人员在三项任务中测试了 CheckList 的效果,在商业化模型和 SOTA 模型中都发现了严重的问题。一项用户调查显示,负责商业化情感分析模型的团队在一个经过大量测试的模型中发现了新的 bug。而在另一项用户调查中,使用 CheckList 的 NLP 从业者创建的测试数量是未使用 CheckList 的两倍,发现的 bug 数量是后者的三倍


此外,大会还公布了最佳论文荣誉提名奖,共有两篇论文获得此奖项。


微信图片_20211204001940.png


最佳主题论文奖


此次会议的最佳主题论文奖由来自美国华盛顿大学和德国萨尔大学的研究者摘得。


微信图片_20211204001943.png


论文链接:https://www.aclweb.org/anthology/2020.acl-main.463/


简介:大型神经语言模型在许多 NLP 任务上获得成功。但是,该研究发现这些成功有时会被过度夸大。这些模型经常被描述成「理解」语言或者捕获语言的「意义」。该研究认为,仅接受形式训练的系统不具备学习语言意义的能力。在 ACL 2020 的主题「Taking Stock of Where We’ve Been and Where We’re Going」下,该研究认为,清晰地理解「形式」与「意义」的区别有助于引导该领域在自然语言理解层面有更科学的发展。

此外,会议还公布了最佳主题论文提名奖:


微信图片_20211204001946.png


最佳 Demo 论文


微信图片_20211204001950.png


论文链接:https://blender.cs.illinois.edu/paper/aidaacl2020demo.pdf


简介:这项研究提出了首个综合开源的多媒体知识提取系统,该系统可基于不同的内容源和语言提取大量非结构化异构多媒体数据,并遵循丰富细粒度本体,创建出连贯且结构化的知识库、索引实体、关系和事件。

该研究提出的系统 GAIA 可实现复杂图 query 的无缝搜索,并检索出文本、图像和视频等多媒体证据。GAIA 在近期的 NIST TAC SM-KBP2019 评估中实现了顶级性能。



以下两篇论文获得了 ACL 2020 最佳 demo 论文荣誉提名奖:


微信图片_20211204001953.png


除了最佳论文、最佳主题论文和最佳 Demo 论文之外,ACL 2020 还公布了时间检验奖、终身成就奖,以及杰出服务奖。


时间检验奖


ACL 2020 的时间检验奖(Test of Time Awards)颁给了 4 篇论文,其中 2 篇发表于 1995 年,经受住了 25 年的时间检验,另外两篇发表于 2010 年。


论文 1:Centering: A Framework for Modeling the Local Coherence of Discourse


微信图片_20211204001956.png



这篇论文于 1995 年发表在 CL 上,被引用次数高达 2700 多次。

该论文是计算对话(computational discourse)领域最重要的论文之一,融合了理论语言学、心理语言学和形式语义学,展示了「语言学」在「计算语言学」中的力量。

论文 2:Unsupervised Word Sense Disambiguation Rivaling Supervised Methods


微信图片_20211204001959.jpg



这篇论文于 1995 年发表在 ACL 上,被引用次数也在 2700 次以上。


该论文开创性地将语言学假设和无监督学习融合起来,展示了统计数据驱动的技术在 NLP 领域中的强大作用。这篇论文探讨的问题——监督学习和无监督学习的性能差距、标注数据的成本,放到现在依旧不过时。

论文 3:Distributional Memory: A General Framework for Corpus-Based Semantics


微信图片_20211204002002.png



本文于 2010 年发表在 CL 上,被引用次数近 700 次。


该论文开创性地提倡词汇语义学的通用学得表征,提出自监督预训练方法(类似于 word2vec、BERT 中所使用的),促进了计算语义学、认知建模和语言学理论之间的联系。


论文 4:Word representations: A simple and general method for semi-supervised learning


微信图片_20211204002005.png



这篇论文于 2010 年发表在 ACL 上,被引用次数超过 2200 次。


该论文是将向量表示用于 NLP 任务的里程碑式著作。它在提出词嵌入方面早了大约五年,并首次在多项 NLP 任务上对比了 distributional 和 distributed(分布式)词表示,论文倡导的思想至今在 NLP 领域占据中心地位。


终身成就奖


大会将终身成就奖颁给了爱丁堡大学荣休教授 Bonnie Webber。ACL 组委会表示,该奖项旨在表彰她在篇章分析领域做出的杰出贡献。


微信图片_20211204002013.png


1978 年,Bonnie Webber 在哈佛大学获得博士学位。之后在宾夕法尼亚大学任教多年,后进入爱丁堡大学任教。2016 年,她从爱丁堡大学退休,成为爱丁堡大学语言、认知和计算研究所智能系统的名誉教授。


Bonnie Webber 致力于篇章研究,参与了宾州篇章树库(Penn Discourse TreeBank)的开发


她的博士论文《A Formal Approach to Discourse Anaphora》使用形式逻辑对自然语言语句的意义进行建模。此外,Bonnie Webber 与人合著《模拟人类:计算机图形动画和控制》一书,并参与编写了《Elements of Discourse Understanding》、《Readings in Artificial Intelligence》等书籍。


Bonnie Webber 于 1980 年担任 ACL 主席,1991 年成为 AAAI Fellow,2004 年当选爱丁堡皇家学会会士。2012 年因其在篇章结构和基于篇章的解释方面的突出贡献,Bonnie Webber 被授予 ACL Fellow。在本届 ACL 大会上,她获得 ACL 终身成就奖。


出生于 1946 年,现年 74 岁的 Bonnie Webber 仍然笔耕不辍。从她的谷歌学术页面,我们可以看到她 2019 年参与的论文数量达 12 篇之多。


微信图片_20211204002039.png


杰出服务奖

ACL 2020 将今年的杰出服务奖颁给了多伦多大学计算机语言学教授 Graeme Hirst。


微信图片_20211204002042.jpg


Graeme Hirst 的研究兴趣为:计算机语言学和自然语言处理,及其在医疗卫生、社会科学和人文科学中的应用。他是《Human Language Technologies》综合丛书的编辑,曾获得加拿大人工智能协会颁发的终身成就奖。


微信图片_20211204002046.png

此外,Graeme Hirst 于 2004-05 年担任 ACL 北美分会的主席,2008-2017 年担任 ACL 财务主管,并于 2019 年成为 ACL Fellow。


ACL 主席 Hinrich Schutze 在颁奖时表示:「这些年来,Graeme Hirst 一直负责 ACL 的财务事宜,始终深入参与大会的组织流程等相关工作,为大会的顺利举办做出了突出贡献。感谢 Graeme Hirst 一直以来为 ACL 做出的贡献。」


2020 WAIC· 开发者日将于 7 月 10 日 - 11 日在线上举办,设置主论坛、分论坛、高峰对话、开发者日百度公开课、开源开放 Demo Day、黑客马拉松等多个环节。添加机器之心小助手微信,备注 “开发者日”,小助手会邀你入群,围观直播。


作为开发者日最重要的环节之一,主论坛都有哪些精彩内容?详细日程如下:


微信图片_20211204002050.png

相关文章
|
4月前
|
机器学习/深度学习 编译器 TensorFlow
【ASPLOS2024】RECom:通过编译器技术加速推荐模型推理,论文中选并获得荣誉奖项!
2024年5月,关于推荐模型自动编译优化的论文《RECom: A Compiler Approach to Accelerate Recommendation Model Inference with Massive Embedding Columns》在系统领域顶会ASPLOS 2024上中选并进行了展示,并被授予了Distinguished Artifact Award 荣誉,以表彰RECom的易用性与结果的可复现性。
|
机器学习/深度学习
2022玻尔兹曼奖公布:两位获奖者,Hopfield网络提出者在列
2022玻尔兹曼奖公布:两位获奖者,Hopfield网络提出者在列
478 0
|
算法 数据可视化 自动驾驶
国内首次!山东大学全新点云法向估计算法荣获SIGGRAPH最佳论文奖
国内首次!山东大学全新点云法向估计算法荣获SIGGRAPH最佳论文奖
187 0
|
机器学习/深度学习 数据采集 Web App开发
十年前,AlexNet就预定了今天的NeurIPS 2022时间检验奖
十年前,AlexNet就预定了今天的NeurIPS 2022时间检验奖
|
算法 机器人 数据建模
中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一
中国学者开发看护机器人仿真环境,还做了真人实验,获IROS 2022最佳论文之一
163 0
|
机器学习/深度学习 存储 人工智能
对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral
对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral
158 0
|
机器学习/深度学习 编解码 人工智能
华为诺亚调研200多篇文献,视觉Transformer综述入选TPAMI 2022
华为诺亚调研200多篇文献,视觉Transformer综述入选TPAMI 2022
315 0
|
机器学习/深度学习 Web App开发 人工智能
ICLR今日放榜!创纪录2594篇投稿,687篇被接受论文华人学者参与近半
今天,ICLR 2020放榜了!共收到2594篇论文提交,创历史新高,其中,有687篇被接受,接受率为26.5%。粗略统计,大概有320篇被接受的论文中有华人学者参与,占比47%。
325 0
ICLR今日放榜!创纪录2594篇投稿,687篇被接受论文华人学者参与近半
|
机器学习/深度学习 人工智能 自然语言处理
中国接收论文量登顶,斩获最佳论文:ACL 2021统计数据出炉
2021 年的 ACL 上,国人论文的占比继续增加,最佳论文奖也被收入囊中。
226 0
中国接收论文量登顶,斩获最佳论文:ACL 2021统计数据出炉
|
机器学习/深度学习 存储 人工智能
NeurIPS 2020奖项出炉:GPT-3等三项研究获最佳论文奖,华人一作论文获时间检验奖
一万八千人参会的NeurIPS 2020 相比去年数量暴涨了三成,在大会上,1750 亿参数模型 GPT-3 再次成为了人们热议的话题。
197 0
NeurIPS 2020奖项出炉:GPT-3等三项研究获最佳论文奖,华人一作论文获时间检验奖