7 Papers | 谷歌开源V-MoE代码；FAIR等纯卷积ConvNet，反超Transformer（1）

本周论文包括 MIT 科学家制造了量子龙卷风； 谷歌开源了史上最大视觉模型 V-MoE 的全部代码等。

目录

1. Obfuscation Revealed: Leveraging Electromagnetic Signals for Obfuscated Malware Classification
   
2. Crystallization of bosonic quantum Hall states in a rotating quantum gas
   
3. Scaling Vision with Sparse Mixture of Experts
   
4. A ConvNet for the 2020s
   
5. Analytical, Statistical Approximate Solution of Dissipative and Nondissipative Binary-Single Stellar Encounters
   
6. Thirty-six entangled officers of Euler: Quantum solution to a classically impossible problem
   
7. Face detection in untrained deep neural networks
   

论文 1：Obfuscation Revealed: Leveraging Electromagnetic Signals for Obfuscated Malware Classification

• 作者：Duy-Phuc Pham, Damien Marion, Mathieu Mastio, Annelie Heuser
  
• 论文链接：https://hal.archives-ouvertes.fr/hal-03374399/document
  

摘要：来自法国计算机科学与随机系统研究所的研究团队创建了一个以树莓派为中心的反恶意软件系统，该系统可以扫描设备中的电磁波来检测恶意软件。

该安全设备使用示波器 (Picoscope 6407) 和连接到 Raspberry Pi 2B 的 H-Field 探头来检测受到攻击的计算机发出的特定电磁波中的异常情况。研究人员称使用了这种技术「获得有关恶意软件类型和身份的准确信息。」然后，检测系统依靠卷积神经网络 (CNN) 来确定收集的数据是否表明存在威胁。凭借这种技术，研究人员声称他们可以记录被真正恶意软件样本感染的物联网设备的 100000 条测量轨迹，并以高达 99.82% 的准确率预测了三种通用和一种良性恶意软件的类别。最重要的是，这种检测技术并不需要任何软件，正在被扫描的设备也不需要以任何方式进行操作。因此，攻击方尝试使用混淆技术隐藏恶意代码是不可行的。

团队提出了一个恶意软件的分类框架，该框架以可执行文件作为输入，仅依靠电磁波侧信道信息输出其预测标签。

图 1 展示了该工作流：首先，研究者定义了威胁模型，当恶意软件在目标设备上运行时，收集电磁波发射信息。他们搭建了一个基础设施，能够运行恶意软件与一个现实的用户环境，同时防止感染主机控制器系统。然后，由于采集的数据非常嘈杂，需要进行预处理步骤来隔离相关的信息信号。最后，使用这个输出，研究者训练了神经网络模型和机器学习算法，以便分类恶意软件类型、二进制文件、混淆方法，并检测一个可执行文件是否打包。

推荐：杀毒软件直接扫描电磁波，查木马准确率 99.82%

论文 2：Crystallization of bosonic quantum Hall states in a rotating quantum gas

• 作者：Biswaroop Mukherjee, Airlia Shaffer, Parth B. Patel 等
  
• 论文链接：https://www.nature.com/articles/s41586-021-04170-2
  

摘要：最近，MIT 的一份相关研究登上了《自然》杂志。在这项研究中，作者首先把「玻色—爱因斯坦凝聚态」拉伸成细长条状，然后旋转这根细条直至细条破裂。这些操作得到的结果是一系列子涡旋，每一个子涡旋都是母涡旋的迷你版。

这些旋转的量子云（量子龙卷风）让人回想起我们所熟悉的经典世界中的现象，比如开尔文 - 亥姆霍兹云，它看起来像周期性重复的锯齿状卡通波浪。

然而，制造量子云涡旋的条件非常苛刻，需要很多的实验室设备，还要减少大气风切变。MIT 物理学教授 Martin Zwierlein 说：「我们从玻色 - 爱因斯坦凝聚态开始，100 万个钠原子共享一个相同的量子力学波函数。」

在特定的旋转速度下，量子气体分裂成小云团。「它会产生一些有趣的波动——我们称之为薄片（flaky），然后变得更加极端。我们看到这种气体是如何在一串液滴中「结晶」的——最后一张照片中有八个液滴。

这种量子龙卷风传感器还可以测量地球自转的微小变化，或许我们可以通过它来了解地球核心是如何影响事物的。MIT 科学家已经打开了新世界的大门，但还没有完全打开。目前可以确认的是那些小龙卷风仍然是玻色 - 爱因斯坦凝聚体，因为即使是最小的龙卷风每个仍然有大约 10 个原子。

推荐：MIT 科学家制造了量子龙卷风。

论文 3：Scaling Vision with Sparse Mixture of Experts

• 作者：Carlos Riquelme 、 Joan Puigcerver 、 Basil Mustafa 等
  
• 论文链接：https://arxiv.org/pdf/2106.05974.pdf
  

摘要：稀疏门控混合专家网络 (MoE) 在自然语言处理中展示了出色的可扩展性。然而，在计算机视觉中，几乎所有的高性能网络都是密集的，也就是说，每个输入都会转化为参数进行处理。

去年 6 月，来自谷歌大脑的研究者提出了 V-MoE（Vision MoE ），这是一种基于专家稀疏混合的新视觉架构。当应用于图像识别时，V-MoE 在推理时只需要一半的计算量，就能达到先进网络性能。此外，该研究还提出了对路由算法的扩展，该算法可以在整个 batch 中对每个输入的子集进行优先级排序，从而实现自适应图像计算。这允许 V-MoE 在测试时能够权衡性能和平滑计算。最后，该研究展示了 V-MoE 扩展视觉模型的潜力，并训练了一个在 ImageNet 上达到 90.35% 的 150 亿参数模型。

稀疏门控混合专家网络 (MoE) 在自然语言处理中展示了出色的可扩展性。然而，在计算机视觉中，几乎所有的高性能网络都是密集的，也就是说，每个输入都会转化为参数进行处理。去年 6 月，来自谷歌大脑的研究者提出了 V-MoE（Vision MoE ），这是一种基于专家稀疏混合的新视觉架构。当应用于图像识别时，V-MoE 在推理时只需要一半的计算量，就能达到先进网络性能。此外，该研究还提出了对路由算法的扩展，该算法可以在整个 batch 中对每个输入的子集进行优先级排序，从而实现自适应图像计算。这允许 V-MoE 在测试时能够权衡性能和平滑计算。最后，该研究展示了 V-MoE 扩展视觉模型的潜力，并训练了一个在 ImageNet 上达到 90.35% 的 150 亿参数模型。

ViT 已被证明在迁移学习设置中具有良好的扩展性，在较少的预训练计算下，比 CNN 获得更高的准确率。ViT 将图像处理为一系列 patch，输入图像首先被分成大小相等的 patch，这些 patch 被线性投影到 Transformer 的隐藏层，在位置嵌入后，patch 嵌入（token）由 Transformer 进行处理，该 Transformer 主要由交替的自注意力和 MLP 层组成。MLP 有两个层和一个 GeLU 非线性。对于 Vision MoE，该研究用 MoE 层替换其中的一个子集，其中每个专家都是一个 MLP，如下图所示：

为了大规模扩展视觉模型，该研究将 ViT 架构中的一些密集前馈层 (FFN) 替换为独立 FFN 的稀疏混合（称之为专家）。可学习的路由层为每个独立的 token 选择对应的专家。也就是说，来自同一图像的不同 token 可能会被路由到不同的专家。在总共 E 位专家（E 通常为 32）中，每个 token 最多只能路由到 K（通常为 1 或 2）位专家。这允许扩展模型的大小，同时保持每个 token 计算的恒定。下图更详细地显示了 V-MoE 编码器块的结构。