5. 联邦学习本地蒸馏
来自慕尼黑工业大学的研究人员提出了一个全新的联邦学习（federated learning）框架FedD3，减少了整体的通信量，大大扩展了联邦学习的应用场景，即使是在网络受限的环境中也能使用。
论文链接：https://arxiv.org/abs/2208.11311
代码链接：https://github.com/Guang000/Awesome-Dataset-Distillation
相比传统的学习方法，FedD3通过本地数据集的蒸馏实现了（1）显著减少通信量；（2）限制了transfer到one-shot的通信量，而非迭代的多路（multi-way）通信；
和其他联邦学习方法中共享模型更新不同的是，FedD3让连接的客户端独立蒸馏本地数据集，然后将这些分散的、蒸馏后的数据集（以一些无法识别的图像的形式存储，正常来说比一个模型小）在整个网络上汇总一次，以形成最终的模型。
实验结果表明，FedD3在所需的通信量方面明显优于其他的联邦学习框架，同时它还能够在准确性和通信成本之间的进行平衡，具体取决于使用场景和目标数据集。
例如，要是想用10个客户端在Non-IID CIFAR-10上训练AlexNet模型，与其他one-shot联邦学习方法相比，在通讯量不变的情况下，FedD3可以将准确率提高71%以上；如果准确率相同，则可以节省98%的通信量。
6. 隐式表征数据集
神经辐射场（NeRFs）在隐三维表征（implicit 3D representation）方面取得了诸多进展，可以用一种可微分的方式进行准确且逼真的三维重建。
这种新的表征方法可以在一个紧凑的格式中有效地传达数百个高分辨率图像的信息，并允许对新的视图进行逼真的合成。
来自浦项科技大学、英伟达和加州理工大学的研究人员利用NeRF的变种Plenoxels，创建了第一个用于感知任务的大规模隐式表征数据集PeRFception
论文链接：https://arxiv.org/abs/2208.11537
代码链接：https://github.com/POSTECH-CVLab/PeRFception
数据集由两部分组成，包括以物体为中心和以场景为中心的扫描，可以用于分类和分割。
在原始数据集的基础上实现了显著的内存压缩率（96.4％），同时以统一的形式包含了二维和三维信息。
研究人员直接将这种隐式格式作为输入构建了分类和分割模型，还提出了一种新的增强技术，可以避免对图像背景的过拟合。
7. 最小的视频实例分割框架
研究人员提出了MinVIS，一个最小的视频实例分割（VIS）框架，在既没有基于视频的架构也没有训练程序的情况下，实现了最先进的VIS性能。
论文链接：https://arxiv.org/abs/2208.02245
代码链接：https://github.com/nvlabs/minvis
通过只训练一个基于查询的图像实例分割模型，MinVIS在比较难的Occluded VIS数据集上的表现比以前的最佳结果要好10%以上。
由于MinVIS将训练视频中的帧视为独立的图像，因此可以在不做任何修改的情况下对训练视频中的标注帧进行大幅度的子采样。
在YouTube-VIS 2019/2021上，MinVIS只用了1%的标注帧，就超过了完全监督的最先进的方法，或者与之相当。
主要观察结果是，经过训练的查询在帧内物体实例之间具有判别能力，在时间上是一致的，可以用来追踪实例，而不需要任何人工设计的启发式方法。
因此，MinVIS的推理pipeline为：先将训练好的基于查询的图像实例分割独立应用于视频帧，然后通过对相应的查询进行双边匹配来追踪被分割的实例。
这种推理是以在线方式进行的，不需要一次性处理整个视频。所以MinVIS具有降低标签成本和内存需求的实际优势，同时不会牺牲VIS的性能。
8. 用来唱歌的Vocoder
Vocoder是一种条件音频生成模型，将声学特征（如旋律谱图）转换成波形。
从可微分数字信号处理（DDSP）中得到启发，研究人员提出了一种新的Vocoder，名为SawSing，可以用于歌唱的声音。
论文链接：https://arxiv.org/abs/2208.04756
代码链接：https://github.com/yatingmusic/ddsp-singing-vocoders
SawSing通过用线性时变有限脉冲响应滤波器过滤锯齿源信号来合成歌声的谐波部分，该滤波器的系数是通过神经网络从输入的旋律谱图中估计出来的。
由于这种方法加强了相位的连续性，SawSing可以产生歌唱的声音，而不会出现许多现有vocoder的相位不连续的突变。
此外，源滤波器的假设提供了一个感应性的偏向，使SawSing可以在少量的数据上进行训练。
实验表明，在资源有限的情况下，SawSing收敛得更快，并优于最先进的生成式对抗网络和基于扩散的vocoder，只有3个训练记录和3小时的训练时间。
