CVPR2020：learning in the frequency domain论文内容是什么？

这是阿里巴巴在CVPR2020上中的论文，主要讲述了计算机如何更好，更明白的看懂图片上的信息。

图像分析新方法：“频域学习”（Learning in the Frequency Domain）

论文地址：https://arxiv.org/pdf/2002.12416.pdf

近年来，基于深度神经网络的机器学习方法在计算机视觉上获得的巨大的成功。我们现在应用的主流的深度神经网络都基于对空间域信号的处理和分析，即图像或视频的RGB信号。我们知道，现有的图像视频分析系统由多个模块组成。例如，实时图像分析系统由图像获取(capture)，图像压缩(compression)，图像传输(transmission)，图像解压缩(decompression)，图像推理(inference)组成。而对于非实时的图像分析系统，这些保存在存储中的图像已经经过压缩，因此需要经过解压缩和图像推理的模块。以实时图像分析系统为例，这个系统整体的性能（包括延时，功耗，精度等）取决于其中每一个模块的性能。以往的瓶颈来自于图像推理引擎，因为其中包含了非常大规模的计算量。由于这些计算具有结构性和并行度的特征，近年来在GPU和人工智能专用芯片的帮助下，图像推理引擎的性能得到了极大的提升。

因此，图像压缩/解压缩在整个系统中的占比会越来越大。例如在Figure 1中，我们看到在一个GPU的系统中图像处理的时间占比已经大约为图像推理（inference）的两倍之多[1]。这篇文章介绍图像分析系统的基本组成，以及我们如何利用频域特征来进行图像推理，从而省略频域到空间域的转换，因为这个转换是图像压缩/解压缩中计算量最大的步骤。同时我们可以在频域选择重要的信息，进一步减少系统中模块之间的数据传输量。因为模块之间的数据带宽往往远小于模块内部的数据带宽，减小模块间的数据传输量便可以提升整个系统的性能。

Figure 1. Latency breakdown in a single inference

本文的主要贡献如下：

第一，我们提出了一种系统方法可以在基本不改变现有的卷积神经网络（如ResNet，MobileNet等）的前提下做基于频域的机器识别。

第二，由于基于频域的机器识别可以在不增加计算量的前提下，接受空间域尺寸更大的图片，因此提高了图像识别的精度。

第三，我们提出了一种系统方法来区分每个频域分量对于机器学习的重要性，并且发现仅有很少部分的频域分量实际上对机器学习有贡献。

第四，之前基于频域的机器学习只完成了单一物体的图像分类 (single object recognition)，我们首次将基于频域的机器学习扩展到了图像的物体检测(object detection)和语义/实例分割(instance segmentation)任务中，通常物体检测和语义/实例分割被定义为高级视觉(High level vision) 任务。

本文的概要如下：

第一部分我们介绍了一个传统图像分析系统的基本框架，并分析的这个系统中计算量的瓶颈位置。

第二部分我们介绍了在频域实现机器学习的系统方法，以及我们提出了一种基于Gumbel softmax开关的选择频率信息重要性的方法。

第三部分我们介绍了利用我们提出的方法在频率域做图像分类（image classification）和实例分割（instancesegmentation）的结果。