本周重要论文包括成为 Nature 封面的两栖机器龟研究，以及澳大利亚国立大学、中山大学等机构的研究者对基于深度学习的图像去模糊技术研究进展的回顾综述。
目录：
- Quantum Algorithms for Sampling Log-Concave Distributions and Estimating Normalizing Constants
- Multi-environment Robotic Transitions through Adaptive Morphogenesis
- Sancus: Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Graph Neural Networks
- Soft Diffusion: Score Matching for General Corruptions
- On Distillation of Guided Diffusion Models
- Deep Image Deblurring: A Survey
- Dispersion-free highly accurate color recognition using excitonic 2D materials and machine learning
- ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）
论文 1：Quantum Algorithms for Sampling Log-Concave Distributions and Estimating Normalizing Constants
- 作者：Andrew M. Childs 等
- 论文地址：https://arxiv.org/pdf/2210.06539.pdf
摘要：对数凹采样（log-concave sampling）在机器学习、物理、统计等领域有着诸多应用。本文基于朗之万扩散（Langevin diffusion）设计了新的量子算法，用于采样对数凹分布和估计归一化常数，相比最好的经典算法对于精度（ε），维度（d），条件数（κ）等参数达到了多项式级加速。
表 1 和表 2 总结了我们的结果和先前经典算法复杂度的对比。
推荐：NeurIPS 2022 | 马里兰、北大等机构提出量子算法用于采样对数凹分布和估计归一化常数。
论文 2：Multi-environment Robotic Transitions through Adaptive Morphogenesis
- 作者：Robert Baines 等
- 论文地址：https://www.nature.com/articles/s41586-022-05188-w
摘要：近日，来自耶鲁大学的研究人员发明了一种两栖机器人，其灵感来自于海龟和陆龟，该机器人通过一种被称为「自适应形态发生，adaptive morphogenesis」的过程完成。他们还为这款机器人取了一个特别贴切的名字，英文叫 ART（Amphibious Robotic Turtle），中文为「两栖机器龟」。该研究于 10 月 12 日登上《Nature》封面。
推荐：耶鲁两栖机器龟登 Nature 封面，一种部件搞定水上、陆地行动。
论文 3：Sancus: Staleness-Aware Communication-Avoiding Full-Graph Decentralized Training in Large-Scale Graph Neural Networks
- 作者：Jingshu Peng 等
- 论文地址：https://www.vldb.org/pvldb/vol15/p1937-peng.pdf
摘要：近年来，图神经网络（GNN）在社交媒体、电子商务、知识图谱、推荐系统、生命科学等领域得到了广泛应用。随着图数据规模的快速增长，亟需发展分布式大规模图神经网络高效训练技术。现有的方法主要采用中心化的参数服务器（PS）架构，计算节点间的大量网络通信成为了训练的性能瓶颈。
为了克服这一挑战，本文提出一种陈旧性感知且通信回避的去中心化全图 GNN 训练框架 SANCUS，实现了高效地分布式图神经网络训练。SANCUS 通过利用历史嵌入，主动创造异步性，避免大量通信；设计了跳过广播（skip-broadcast）机制，训练时动态重塑通信拓扑，实现了嵌入的灵活传输。为了自适应地维护历史嵌入，提出了嵌入有界陈旧性指标，并从理论上证明了陈旧性感知训练框架的收敛性。
实验结果表明，与 SOTA 方法相比，在不损失精度的前提下，SANCUS 可以节约高达 74% 的网络通信，平均吞吐量提升至少 1.86 倍。SANCUS 将传统分布式机器学习中的有界梯度陈旧性泛化到去中心化分布式 GNN 中的历史嵌入上，理论上新指标可以推广至其他分布式 GNN 训练架构。
SANCUS 框架的基本训练流程，主要包括五个步骤：（1）数据加载，（2）陈旧性边界检查，（3）嵌入广播，（4）GNN 模型计算，以及（5）结果缓存。
推荐：VLDB 2022 最佳研究论文：克服通信挑战，新框架 SANCUS 实现 GNN 高效训练。
论文 4：Soft Diffusion: Score Matching for General Corruptions
- 作者：Giannis Daras 等
- 论文地址：https://arxiv.org/pdf/2209.05442.pdf
摘要：近日，在谷歌研究院和 UT-Austin 合作的一篇 arXiv 论文中，几位研究者认为扩散模型仍有一个重要的步骤：损坏（corrupt）。一般来说，损坏是一个添加不同幅度噪声的过程，对于 DDMP 还需要重缩放。虽然有人尝试使用不同的分布来进行扩散，但仍缺乏一个通用的框架。因此，研究者提出了一个用于更通用损坏过程的扩散模型设计框架。
具体地，他们提出了一个名为 Soft Score Matching 的新训练目标和一种新颖的采样方法 Momentum Sampler。理论结果表明，对于满足正则条件的损坏过程，Soft Score MatchIng 能够学习它们的分数（即似然梯度），扩散必须将任何图像转换为具有非零似然的任何图像。
图左使用 Naive Sampler 采样的图像似乎有重复且缺少细节，而图右 Momentum Sampler 显著提升了采样质量和 FID 分数。
推荐：Soft Diffusion：谷歌新框架从通用扩散过程中正确调度、学习和采样。
论文 5：On Distillation of Guided Diffusion Models
- 作者：Chenlin Meng 等
- 论文地址：https://arxiv.org/pdf/2210.03142.pdf
摘要：去噪扩散概率模型（DDPM）在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器（classifier-free）指导进一步提升了扩散模型的样本质量，并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模扩散模型框架中。
然而，无分类器指导的一大关键局限是它的采样效率低下，需要对两个扩散模型评估数百次才能生成一个样本。这一局限阻碍了无分类指导模型在真实世界设置中的应用。尽管已经针对扩散模型提出了蒸馏方法，但目前这些方法不适用无分类器指导扩散模型。
为了解决这一问题，近日斯坦福大学和谷歌大脑的研究者在论文中提出使用两步蒸馏方法来提升无分类器指导的采样效率。在第一步中，他们引入单一学生模型来匹配两个教师扩散模型的组合输出；在第二步中，他们利用提出的方法逐渐地将从第一步学得的模型蒸馏为更少步骤的模型。利用提出的方法，单个蒸馏模型能够处理各种不同的指导强度，从而高效地对样本质量和多样性进行权衡。此外为了从他们的模型中采样，研究者考虑了文献中已有的确定性采样器，并进一步提出了随机采样过程。
提出的蒸馏模型只需 4 步就能生成在视觉上与教师模型媲美的样本，并且在更广泛的指导强度上只需 8 到 16 步就能实现与教师模型媲美的 FID/IS 分数。
推荐：采样提速 256 倍，蒸馏扩散模型生成图像质量媲美教师模型，只需 4 步。
论文 6：Deep Image Deblurring: A Survey
- 作者：Kaihao Zhang 等
- 论文地址：https://link.springer.com/article/10.1007/s11263-022-01633-5
摘要：本文提出了一个图像去模糊方向的综述，澳大利亚国立大学、中山大学、美国加州大学 Merced 分校、日本乐天研究所的研究者回顾了基于深度学习的图像去模糊技术研究进展，回顾了图像去模糊的研究历史，总结了当前的研究进展，并进行了展望。该综述被计算机视觉旗舰期刊 International Journal of Computer Vision 接收。
推荐：IJCV 收录！深度去模糊综述论文来了。
论文 7：Dispersion-free highly accurate color recognition using excitonic 2D materials and machine learning
- 作者：DavoudHejazi 等
- 论文地址：https://www.sciencedirect.com/science/article/abs/pii/S1369702122002255
摘要：人的眼睛可以看见数百万种颜色，现在人工智能也可以。近日，来自美国东北大学的一个跨学科研究团队使用新的人工智能技术构建了一种可以识别数百万种颜色的新设备 A-Eye，这让机器视觉领域迈出了一大步，将被广泛应用于自动驾驶汽车、农业分拣和远程卫星成像等一系列技术。研究论文发表在了《Materials Today》上。
左上为构建 A-Eye 使用的 2D 材料，右上为 A-Eye 的工作流，图下为测试颜色与 A-Eye 估计的颜色对比。
推荐：借助独特 2D 材料和机器学习，CV 像人一样「看见」数百万种颜色。
