IJCAI 2021 杰出论文奖
Learning Generalized Unsolvability Heuristics for Classical Planning
TL;DR：林雪平大学和庞培法布拉大学提出从广义规划的角度来处理经典规划问题，并学习描述整个规划领域不可解性的一阶公式。
对于经典规划问题，近期的研究引入了专门检测不可解决状态（即不能达到目标状态的状态）的技术。
本文从广义规划的角度来处理这个问题，并学习描述整个规划领域不可解性的一阶公式。作者具体将该问题转换为一个自监督分类任务进行分析。本文使用的训练数据是通过对每个域的小实例的详尽探索而自动生成和标记的，候选特征则是由用于定义域的谓词自动计算得到的。
作者研究了三种具有不同性质的学习算法，并将它们与经典的启发式算法进行比较。本文的实验结果表明，本文方法往往能以较高的分类准确度捕捉到重要的不可解决的状态类别。此外，本文的启发式方法的逻辑形式使其易于解释和推理，并可用于表明在某些领域中所学到的特征描述正好捕捉了该领域的所有不可解决的状态。
文献地址：https://www.ijcai.org/proceedings/2021/0574.pdf
On the Relation Between Approximation Fixpoint Theory and Justification Theory
近似不动点理论（Approximation Fixpoint Theory，AFT）和正当性理论（Justification Theory，JT）是统一逻辑形式的两个框架。AFT根据网格算子（lattice operators）的不动点研究语义，JT根据理由（justifications）研究语义，这些理由解释了为什么某些事实在模型中成立或不成立。虽然方法不同，但这些框架的设计目标类似，即研究在非单调逻辑中出现的不同语义。
本文的第一个贡献是提供两个框架之间的正式关联性分析。作者证明了每一个理由框架都会诱导生成一个近似值，并且这种从JT到AFT的映射保留了所有主要语义。第二个贡献是利用这种对应关系，用一类新的语义即终极语义（ultimate semantics）来扩展JT。在JT中，通过对理由框架进行语法转换可以获得最终语义，本质上是对规则进行某种解析。
文献地址：https://www.ijcai.org/proceedings/2021/0272.pdf
Keep Your Distance: Land Division With Separation
本文的研究内容来自于实际应用程序的需求，目的是使公平划分（fair division）理论更接近于实践。
具体的，本文关注两项源自土地分割的需求：（1） 每个agent都应该接收一个可用的几何形状的地块；（2） 不同agent的地块必须在物理上分开。在符合这些要求的情况下，经典的公平概念—按比例划分是不切实际的，因为它可能不可能达到任何乘法近似值。
Budish于2011年提出的序数最大值共享近似法（the ordinal maximin share approximation），对公平相关问题提供了保障。
相比之下，本文证明了当可用形状为正方形、宽矩形或任意轴对齐矩形时，可实现的最大共享保证的上限和下限，并探索了在此设置下找到公平划分的算法和查询复杂性文献地址：https://arxiv.org/abs/2105.06669
IJCAI 2021 荣誉提名
Actively Learning Concepts and Conjunctive Queries under ELdr-Ontologies
文献地址：https://arxiv.org/pdf/2105.08326.pdf
ICCV 2021 马尔奖（最佳论文）
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
TL;DR：微软亚洲研究院提出 Swin Transformer，在 COCO 等数据集上超越 CNN
微软亚洲研究院凭借 Swin Transformer 获得了 ICCV 马尔奖（最佳论文）。这篇论文的作者主要包括中国科学技术大学的刘泽、西安交通大学的林宇桐、微软的曹越和胡瀚等人。
该研究提出了一种新的 Vision Transformer，即 Swin Transformer，它可以作为计算机视觉的通用骨干。
相比之前的 ViT 模型，Swin Transformer 做出了以下两点改进：1、引入 CNN 中常用的层次化构建方式构建分层 Transformer；2、引入局部性（locality）思想，对无重合的窗口区域内进行自注意力计算。
文献地址：https://arxiv.org/pdf/2103.14030.pdf
NeurIPS 2021 杰出论文奖
A Universal Law of Robustness via Isoperimetry
TL;DR：微软和斯坦福研究员提出一个理论模型，以解释为什么许多最先进的深度网络需要的参数比顺利拟合训练数据所需的多得多。
本文提出了一个理论模型，以解释为什么许多最先进的深度网络需要的参数比顺利拟合训练数据所需的多得多。
特别是在关于训练分布的某些规则性条件下，一个O(1)-Lipschitz函数插值训练数据低于标签噪声所需的参数数量以nd级数扩展，其中n是训练样本数量，d是样本数据维度。这一结果与传统的结果形成了鲜明的对比，传统的结果指出，一个函数需要n个参数来插值训练数据，而为了顺利插值，这个额外的d系数似乎是必要的。
该理论非常简单，并且与一些关于在MNIST分类中具有鲁棒概括性的模型大小的经验观察一致。这项工作还提供了一个可测试的预测，即为ImageNet分类开发鲁棒模型所需的模型大小。
文献地址：https://arxiv.org/abs/2105.12806
On the Expressivity of Markov Reward
TL;DR：Deepmind、普林斯顿大学和布朗大学的研究员表明可在多项式时间内（polynomial time）确定所需设置是否存在兼容的马尔可夫奖励。
马尔科夫奖励函数是不确定性和强化学习下的顺序决策的主导框架。
本文从系统设计者对特定行为的偏好、对行为的偏好或对状态和行动序列的偏好等方面，对马尔可夫奖励何时足以或不足以使系统设计者指定一项任务进行了阐述。
作者用简单的、说明性的例子证明，存在着一些任务，对于这些任务，不能指定马尔科夫奖励函数来诱导所需的任务和结果。幸运的是，他们还表明有可能在多项式时间内决定对于所需的设置是否存在兼容的马尔科夫奖励，如果存在，也存在一种多项式时间的算法来构建有限决策过程设置中的这种马尔科夫奖励。
这项工作揭示了奖励设计的挑战，并可能开辟未来的研究途径，研究马尔科夫框架何时以及如何足以实现人类利益相关者所期望的绩效。
文献地址：https://arxiv.org/abs/2111.00876
Deep Reinforcement Learning at the Edge of the Statistical Precipice
TL;DR：谷歌大脑和蒙特利尔大学的研究员提出了提高深度强化学习算法比较的严谨性的实用方法。
严格的方法比较可以加速有意义的科学进步。
本文提出了提高深度强化学习算法比较的严谨性的实用方法：具体而言，对新算法的评估应该提供分层的自举置信区间、跨任务和运行的性能概况以及四分位数。
本文强调，在许多任务和多次运行中报告深度强化学习结果的标准方法会使人很难评估一种新的算法是否代表着比过去的方法有一致的、可观的进步，作者通过经验性的实验说明了这一点。所提出的性能总结被设计成可以用每个任务的少量运行来计算，这对许多计算资源有限的研究实验室来说可能是非常重要的。
文献地址：https://arxiv.org/abs/2108.13264
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
TL;DR：华盛顿大学、斯坦福大学和艾伦人工智能研究所联合提出一种用于比较模型生成的文本和人类生成的文本分布的散度测量方法MAUVE
本文提出了MAUVE—一种用于比较模型生成的文本和人类生成的文本分布的散度测量方法。
MAUVE使用被比较的两个文本的量化嵌入的（soft）KL散度度量系列。所提出的MAUVE测量本质上是对连续系列测量的整合，旨在捕捉第一类错误（产生不现实的文本）和第二类错误（没有捕捉到所有可能的人类文本）。
实证实验表明，MAUVE能识别模型生成的文本的已知模式，并与人类的判断有更好的关联。
文献地址：https://arxiv.org/abs/2102.01454
A Continuized View on Nesterov Acceleration for Stochastic Gradient Descent and Randomized Gossip
TL;DR：巴黎科学艺术人文大学、洛桑联邦理工学院提出Nesterov加速梯度方法的「连续」版本
本文描述了Nesterov加速梯度方法的 "连续化 "版本，其中两个独立的矢量变量在连续时间内共同演化—与之前使用微分方程来理解加速的方法很相似—但使用梯度更新是在泊松点过程决定的随机时间发生的。
这种新方法导致了一种（随机的）离散时间方法：(1) 享有与Nesterov方法相同的加速收敛性。(2)本文给出了一个清晰的分析过程，通过利用连续时间进行论证，与之前的加速梯度方法的分析相比更容易理解。(3)避免了连续时间过程离散化带来的额外误差，这与之前几次利用连续时间过程理解加速方法的尝试形成了鲜明的对比。
文献地址：https://arxiv.org/abs/2106.07644
Moser Flow: Divergence-based Generative Modeling on Manifolds
TL;DR：魏茨曼科学研究所、Facebook、UCLA共同提出一种在黎曼流形上训练连续归一化流（CNF）生成模型的方法
本文提出了一种在黎曼流形上训练连续归一化流（continuous normalizing flow，CNF）生成模型的方法。
该工作的关键思想是利用Mose 的一个结果，该结果用一类有限的常微分方程（ODEs）来描述CNF的解决方案（Moser称之为流形上的方向保全自变量），该类ODEs享有几何规则性条件，并使用目标密度函数的发散来明确地定义。
本文所提出的Moser Flow方法使用这一解决概念，开发了一种基于参数化目标密度估计器（可以是神经网络）的CNF方法。训练相当于简单地优化密度估计器的散度，从而无需运行ODE求解器。
本文实验表明，与之前的CNF工作相比，CNF训练时间更快，测试性能更优，并且能够对具有非恒定曲率的隐式表面的密度进行建模。此外，这种利用几何规律性条件解决昂贵的反向传播训练的思路可能有更广阔的的应用价值。"文献地址：https://arxiv.org/abs/2108.08052
