ACL 是计算语言学和自然语言处理领域的顶级国际会议，由国际计算语言学协会组织，每年举办一次。一直以来，ACL 在 NLP 领域的学术影响力都位列第一，它也是 CCF-A 类推荐会议。今年的 ACL 大会已是第 61 届，将于 2023 年 7 月 9 日至 14 日在加拿大多伦多举行。
今年共评选出 3 篇最佳论文，4 个特别奖项论文：资源奖（Resource Award）、社会影响奖（Social Impact Award）、复现奖（Reproduction Award）、主题论文奖以及 39 篇杰出论文。
最佳论文
论文 1：Do Androids Laugh at Electric Sheep? Humor “Understanding” Benchmarks from The New Yorker Caption Contest
论文地址：https://arxiv.org/abs/2209.06293
机构：艾伦人工智能研究院、犹他大学等
论文简介：大型神经网络现在可以生成笑话，但它们真的「理解」幽默吗？该研究用源自 New Yorker Cartoon Caption Contest 的三项任务来测试人工智能模型，包括将笑话与卡通相匹配、选出优质配文（caption）以及解释优质配文为何有趣。完成这些任务的关键是「理解」图像和配文之间复杂且出人意料的关系，幽默经常涉及对人类经验和文化的间接、有趣的暗示。该论文研究了多模态模型和纯语言模型：前者直接接受卡通图像的挑战；后者则给出视觉场景的多方面描述以模拟人类水平的视觉理解。
该研究发现两类模型都难以完成所有三项任务。例如，表现最好的多模态模型在匹配任务上的准确度落后于人类表现 30 个百分点。即使提供真实的视觉场景描述，在超过 2/3 的情况下，人类编写的解释也比模型编写的最佳解释（fewshot GPT-4 ）更受欢迎。
论文 2：What the DAAM: Interpreting Stable Diffusion Using Cross Attention
论文地址：https://arxiv.org/abs/2210.04885
机构：Comcast Applied AI、伦敦大学学院、滑铁卢大学
论文简介：大规模扩散神经网络是文本到图像生成领域一个重要的里程碑，但这类方法缺乏可解释性。该论文对近期开源的 Stable Diffusion 模型进行了文本 - 图像归因分析（attribution analysis）。为了生成像素级归因图，该研究在去噪子网络中 upscale 并聚合（aggregate）交叉注意力 word–pixel 分数，所提方法被命名为 DAAM。
该研究通过测试 DAAM 对名词的语义分割能力来评估其正确性。然后该研究应用 DAAM 来研究语法在像素空间中的作用。最后，该研究使用 DAAM 研究了几种语义现象。该研究是首个从视觉语言学的角度解释大型扩散模型的研究，这将引领一个新的研究方向。
论文 3：From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models
论文地址：https://arxiv.org/pdf/2305.08283.pdf
机构：华盛顿大学、CMU、西安交通大学
杰出论文
本届会议还评出了 39 篇杰出论文（Outstanding Papers），官方放出了 38 篇杰出论文列表。
论文 1：CAME: Confidence-guided Adaptive Memory Efficient Optimization
机构：新加坡国立大学、华为诺亚方舟实验室
论文作者：罗旸，Xiaozhe REN, 郑奘巍，ZHUO JIANG, Xin Jiang 以及尤洋
论文地址：https://arxiv.org/abs/2307.02047
研究亮点及意义：语言模型的训练中，优化器往往占据了大量的内存使用。随着大语言模型不断增加的参数量，训练时的内存消耗问题更为严峻。我们的工作提出了 CAME 优化器，在减少内存消耗的同时，拥有与 Adam 相同的性能。CAME 优化器基于 Adafactor 优化器改进而来，后者在大规模语言模型的预训练任务中往往带来训练性能的损失。Adafactor 通过非负矩阵分解降低内存的消耗，但这一操作也带来了更新不稳定的问题。CAME 优化器基于模型更新的置信度进行更新量修正，同时对引入的置信度矩阵进行非负矩阵分解操作，有效降低了额外的内存开销。CAME 优化器在多个常用的大规模语言模型的预训练上取得了相同甚至超越 Adam 优化器的训练表现，而内存占用与 Adafactor 相差无几，并对大 batch 预训练场景更加鲁棒。通过 CAME 优化器训练大语言模型，能够大幅度降低大模型训练的成本。
论文 2：Backpack Language Models
机构：斯坦福大学
论文作者：John Hewitt, John Thickstun, Christopher Manning 以及 Percy Liang
论文地址：https://arxiv.org/pdf/2305.16765.pdf
论文 3：Causes and Cures for Interference in Multilingual Translation
机构：特拉维夫大学、 Meta AI
论文作者：Uri Shaham, Maha Elbayad, Vedanuj Goswami, Omer Levy 以及 Shruti Bhosale
论文地址：https://arxiv.org/pdf/2212.07530.pdf
论文 4：Cognitive Reframing of Negative Thoughts through Human-Language Model Interaction
机构：华盛顿大学、斯坦福大学等
论文作者：Ashish Sharma, Kevin Rushton, Inna Lin, David Wadden, Khendra Lucas, Adam Miner, Theresa Nguyen 以及 Tim Althoff
论文地址：https://arxiv.org/pdf/2305.02466.pdf
论文 5：Compositional Generalization without Trees using Multiset Tagging and Latent Permutations
机构：爱丁堡大学、萨尔大学、阿姆斯特丹大学
论文作者：Matthias Lindemann, Alexander Koller 以及 Ivan Titov
论文地址：https://arxiv.org/pdf/2305.16954.pdf
论文 6：Considerations for meaningful sign language machine translation based on glosses
机构：苏黎世大学、苏黎世联邦理工学院、巴伊兰大学
论文作者：Mathias Müller, Zifan Jiang, Amit Moryossef, Annette Rios 以及 Sarah Ebling
论文地址：https://arxiv.org/pdf/2211.15464.pdf
论文 7：Dense-ATOMIC: Towards Densely-connected ATOMIC with High Knowledge Coverage and Massive Multi-hop Paths
机构：南京理工大学
论文作者：Xiangqing Shen, Siwei Wu 以及夏睿
论文地址：https://arxiv.org/pdf/2210.07621.pdf
论文 8：Dissecting Transformer Length Extrapolation via the Lens of Receptive Field Analysis
机构：CMU、普林斯顿大学
论文作者：Ta-Chung Chi, Ting-Han Fan, alexander rudnicky 以及 Peter Ramadge
论文地址：https://arxiv.org/pdf/2212.10356.pdf
论文 9：Distilling Script Knowledge from Large Language Models for Constrained Language Planning
机构：复旦大学等
论文作者：Siyu Yuan, Jiangjie Chen, Ziquan Fu, Xuyang Ge, Soham Shah, Charles Jankowski, Yanghua Xiao 以及 Deqing Yang
论文地址：https://arxiv.org/pdf/2305.05252.pdf
论文 10：Do PLMs Know and Understand Ontological Knowledge?
机构：上海科技大学、上海智能视觉影像及应用工程技术研究中心、达摩院
论文作者 Weiqi Wu, Chengyue Jiang, Yong Jiang, Pengjun Xie 以及 Kewei Tu
论文地址：https://faculty.sist.shanghaitech.edu.cn/faculty/tukw/acl23probe.pdf
论文 11：Don’t Generate, Discriminate: A Proposal for Grounding Language Models to Real-World Environments
机构：俄亥俄州立大学
论文作者：Yu Gu, Xiang Deng 以及 Yu Su
论文地址：https://arxiv.org/pdf/2212.09736.pdf
论文 12：Extrinsic Evaluation of Machine Translation Metrics
机构：爱丁堡大学
论文作者：Nikita Moghe, Tom Sherborne, Mark Steedman 以及 Alexandra Birch
论文地址：https://aclanthology.org/2023.acl-long.730.pdf
论文 13：Faithful Low-Resource Data-to-Text Generation through Cycle Training
机构：TAMU、亚马逊
论文作者：Zhuoer Wang, Marcus Collins, Nikhita Vedula, Simone Filice, Shervin Malmasi 以及 Oleg Rokhlenko
论文地址：https://arxiv.org/pdf/2305.14793.pdf
论文 14：Generalizing Backpropagation for Gradient-Based Interpretability
机构：苏黎世联邦理工学院、MIT
论文作者：Kevin Du, Lucas Torroba Hennigen, Niklas Stoehr, Alex Warstadt 以及 Ryan Cotterell
论文地址：https://arxiv.org/pdf/2307.03056.pdf
论文 15：Hexatagging: Projective Dependency Parsing as Tagging
机构：苏黎世联邦理工学院
论文作者：Afra Amini, Tianyu Liu 以及 Ryan Cotterell
论文地址：https://arxiv.org/abs/2306.05477
论文 16：Hybrid Transducer and Attention based Encoder-Decoder Modeling for Speech-to-Text Tasks
机构：Meta AI，卡内基梅隆大学
论文作者：Yun Tang , Anna Y. Sun , Hirofumi Inaguma , Xinyue Chen , Ning Dong , Xutai Ma , Paden D. Tomasello 以及 Juan Pino
论文地址：https://arxiv.org/abs/2305.03101
论文 17：Improving Pretraining Techniques for Code-Switched NLP
机构：印度理工学院孟买分校， Deepmind
论文作者：Richeek Das, Sahasra Ranjan , Shreya Pathak 以及 Preethi Jyothi
论文地址：https://aclanthology.org/2023.acl-long.66/
论文 18：Knowledge Transfer in Incremental Learning for Multilingual Neural Machine Translation
机构：清华大学，北京信息科学与技术国家研究中心，上海人工智能实验室，中国科学技术大学
论文作者：Kaiyu Huang, Peng Li , Jin Ma, Ting Yao, Yang Liu
论文地址：https://aclanthology.org/2023.acl-long.852/
论文 19：Language model acceptability judgements are not always robust to context
机构： Meta AI ，麻省理工学院，普渡大学，约翰霍普金斯大学
论文作者：Koustuv Sinha ，Jon Gauthier ， Aaron Mueller， Kanishka Misra ，Keren Fuentes ，Roger Levy 以及 Adina Williams
论文地址：https://arxiv.org/abs/2212.08979
论文 20：Linear Classifier: An Often-Forgotten Baseline for Text Classification
机构：台湾大学、华硕、穆罕默德・本・扎耶德人工智能大学
论文作者：Yu-Chen Lin, Si-An Chen, Jie-Jyun Liu 以及 Chih-Jen Lin
论文地址：https://arxiv.org/pdf/2306.07111.pdf
论文 21：Minding Language Models’ (Lack of) Theory of Mind: A Plug-and-Play Multi-Character Belief Tracker
机构：华盛顿大学、CMU、艾伦人工智能研究所
论文作者：Melanie Sclar, Sachin Kumar, Peter West, Alane Suhr, Yejin Choi 以及 Yulia Tsvetkov
论文地址：https://arxiv.org/pdf/2306.00924.pdf
论文 22：MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
机构：弗吉尼亚理工大学
论文作者：Zhiyang Xu, Ying Shen 以及 Lifu Huang
论文地址：https://arxiv.org/pdf/2212.10773.pdf
论文 23：Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment
机构：DTU、德里印度理工学院
论文作者：Eshaan Tanwar, Subhabrata Dutta, Manish Borthakur and Tanmoy Chakraborty
论文地址：https://arxiv.org/pdf/2305.05940.pdf
论文 24：Neural Machine Translation Methods for Translating Text to Sign Language Glosses
机构：柏林工业大学、德国人工智能研究中心
论文作者：Dele Zhu, Vera Czehmann 以及 Eleftherios Avramidis
论文地址：https://aclanthology.org/2023.acl-long.700.pdf
