人工智能顶会中的蚂蚁金服，不仅仅是商用场景的落地。
2020年2月7日，人工智能顶级会议AAAI 2020（第34届AAAI大会）在美国纽约举行。作为今年在国际人工智能大会的首秀，蚂蚁金服在AAAI 2020中表现不俗，多篇论文被收录。
人工智能的发展历史不短，但近年来发展迅猛。AAAI的英文全称是 Association for the Advance of Artificial Intelligence——美国人工智能协会。在人工智能国际性大会中，AAAI大会被公认为人工智能领域最重磅的会议之一，被誉为人工智能领域科研的风向标。在国内，由中国计算机学会的国际学术会议排名以及清华大学新发布的计算机科学推荐学术会议和期刊列表中，AAAI 均被列为人工智能领域的 A 类顶级会议。
值得一提的是，受国内疫情影响，约800名中国大陆学者缺席此次大会，但是官方允许远程参会，因此开年的这场人工智能顶会，热闹不减。中国在人工智能领域的学术贡献也相当亮眼，此次大会录用的论文37%来自中国，连续三年占据榜首位置。在这股浩浩荡荡的AI大潮中，蚂蚁金服也紧跟技术风向，持续输出新能量。
技术在这个时代吹亮了号角，AI成为这股科技生产力中的主力军之一。随着AI产业生态链布局完善，AI逐渐实现了在商用场景的落地，而蚂蚁金服在AI技术领域也连年有所突破，像支付宝这样与人们日常生活息息相关的应用，日渐完善和加强了其本身的功能，提升了用户的体验感受。这些不易觉察的改善正是蚂蚁金服技术团队在AI领域不断精进的结果。
AAAI 2020已经公布了所有已被接收的论文列表，地址为：
https://aaai.org/Conferences/AAAI-20/wp-content/uploads/2020/01/AAAI-20-Accepted-Paper-List.pdf
大会官方曾于去年11月中旬公布了今年论文的收录信息：共收到超过8800篇有效论文，进入评审环节的有7737篇，最终收录了1591篇，接收率为20.6%。以下为蚂蚁金服技术团队被收入的6篇论文的简要介绍。
论文1：Dynamic Network Pruning with Interpretable Layerwise Channel Selection（基于可解释性通道选择的动态网络剪枝方法）
内容简介：动态剪枝网络可以通过根据不同的输入动态决定推理路径，实现实时线上加速目的。之前的方法大多直接对每个权重通道输出连续重要值，来决定权重的使用情况，但缺乏清晰可理解的剪枝过程。本文中我们提出显式建模权重通道离散选择过程，以便于实现各稀疏多样的运行时推理路径。与此同时，借助于可理解的逐层权重通道选择过程，我们可以清晰地可视化出模型决策过程以供模型理解。同时我们还发现正常样本和对抗样本在动态网络中有着明显不同的决策路径。基于此我们提出一种高效的对抗样本检测方法。实验表明我们的动态剪枝网络不仅可以减少模型实时计算量，提高模型预测准确性，同时还可以有效防御对抗样本攻击，构建更为鲁棒的模型。
论文2：Pruning from Scratch（无语预训练的网络剪枝技术）
内容简介：随着深度学习网络被广泛应用，减少模型大小和运行延时也成为逐渐关注的需求，这对于部署于边缘移动端设备有实际应用价值。网络剪枝技术即通过去除模型中冗余参数结构，来达到模型压缩和推理加速的目的。传统网络剪枝方法基本采取三阶段流程，即预训练，剪枝和微调。其中预训练提供冗余参数和结构，剪枝利用不同策略去除参数，微调负责最后进一步提升模型性能。但是这些环节引入了繁琐耗时的网络优化过程，而且最终压缩网络结构及参数和原始模型甚至无依赖关系。因此我们自然提出疑问：是否必需要从一个预训练好的模型中才可以得到剪枝模型结构？
在本文中我们通过实证发现，一个有效的剪枝结构无需从预训练权重得到。实际上预训练权重得到的剪枝结构往往是同质缺乏多样性的，这很有可能限制了更好性能结构的探索。我们发现直接从随机初始化权重即可以剪枝得到更多样且最终性能更好的剪枝结构。这不仅极大的加速了模型剪枝流程，减少费时繁重的训练过程，同时也为模型剪枝领域提供了一个强有力的基准结果。
论文3：自动车险定损系统：像专业定损员一样读取和理解视频
内容简介：车险定损是车险理赔中最为重要的操作环节。以往传统保险公司的车险处理流程，一般为报案、现场查勘、提交理赔材料、审核、最终赔付。传统流程对用户和保险公司分别造成了时间成本和人力、管理成本。本文提出的自动车险定损系统不仅能通过AI算法替代定损环节中重复性人工作业流程，而且能通过深度学习技术让用户在车险理赔过程中现场拍摄视频，在几秒内就能得到准确的定损结论，并快速获得理赔。
目前有相关工作在用户拍摄的照片上进行车险定损，拍摄照片对拍摄距离有较高的要求，用户交互复杂。也有采用远程视频会议系统，由专业定损员在控制中心指导拍摄过程并进行定损。本系统采用拍摄视频的方式在云端自动定损，简化了用户交互过程，降低了定损成本。
论文4：Long Short-Term Sample Distillation(基于长短期老师的样本蒸馏方法)
内容简介：随着深度学习的快速发展，神经网络的深度迅速增加。而由于存在梯度消失、过拟合等问题，越深的神经网络越难训练。在过去的一段时间里，如何训练深度神经网络已经取得了很大的进展。最近一些关于老师-学生模型的研究表明，在同一个训练过程中，前面训练过程的历史信息可以作为后面训练过程的老师，从而使模型的训练更稳定，达到更好的效果。
在这篇文章中，我们提出了Long Short-Term Sample Distillation（LSTSD)方法来从两方面提升深度神经网络的效果。一方面，LSTSD将历史训练过程的信息分为两部分：长期信号和短期信号。长期信号来自于n(n>1)训练周期之前，并在较长的一段时间内保持稳定，从而保证学生模型和老师模型之间的差异性。短期信号来自于上一个训练周期，并在每个周期都更新为最新的信息，从而保证老师模型的质量。另一方面，每一个样本的老师信号都来自于不同的历史训练时刻，因此在训练的每个时刻，模型都是同时向多个历史时刻的模型学习，集百家之所长，从而得到更好的训练效果。我们在自然 语言处理和计算机视觉的多个任务上进行了实验，实验结果证明我们提出的LSTSD的有效性。
论文5：Span-based Neural Buffer: Towards Efficient and Effective Utilization of Long-distance Context for Neural Sequence Models(面向超长文本分析的自然语言处理)
内容简介：传统的序列编码模型由于其线性输入输出假设的特质而存在短视问题，即不能很好地利用远距离的上下文信息（有实验说明，LSTM的编码能力大概在200个词左右）。在这个工作中，我们提出了一种基于块的张量缓冲，它通过按块存储上下文高效地提高了线性生成模型的编码容量。具体地说，其有效性源于能够通过存储文本块建模超长上下文；其高效性源于通过块状存储降低了检索时耗。
然而，在实验过程中，我们发现由于样本偏差（大部分的句子结构简单，即通过局部上下文就可以预测得很好了），模型不能很好地利用张量缓冲的信息。为了解决这个问题，我们提出了一个基于自适应奖励的策略梯度以鼓励模型探索上下文和一个退火最大似然估计充分训练张量缓冲相关的参数。
我们在语言模型的两个数据集：Penn Treebank 和 WikiText-2 上做了大量的实验。包括用张量缓冲提高之前每个基线模型的效果以及一些定性实验。它们都有力地说明了我们的方法在处理超长上下文时非常有效。
论文6：通过结构化反事实推断实现成本高效的激励权益发放
内容简介：向用户发放激励消费的权益是现代互联网市场中一个常见的营销手段，而相应的发放策略，即向不同用户发放其最感兴趣的个性化激励权益时，并不能利用传统的优化方法。这是因为我们只能观测到每个用户对部分已发放激励权益的反馈，而无法确定其收到其他激励权益时的反馈，在机器学习领域，这类策略优化问题被称为反事实反馈策略优化（Counterfactual Response Policy Optimization）或部分反馈学习（Batch Learning from Bandit Feedback）。
在这篇论文中，不同于之前的部分反馈学习工作，我们考虑一种全新的反事实反馈估计场景，将激励权益的成本与用户反馈结合考虑，设计了一个全新的两步方法求解带预算约束的反事实反馈策略优化：首先将用户的反事实反馈的估计问题转化为一个带额外结构的定义域适配（Domain Adaptation）问题，再利用该估计结果进行约束优化。我们通过理论分析给出该算法的误差上界，并通过模拟数据和真实数据上的实验证明我们的算法相比已有算法实现了显著的提升。
