3.2 实验分析
作者实现了一个基于 Tensor-Flow 的 Siren 原型，共有 2000 多行 Python 代码，以及使用 multiprocessing library 来启动多个进程模拟多个客户端。作者通过在两个公共基准数据集上运行实际的 FL 任务来验证 Siren 的有效性：Fashion-MNIST 和 CIFAR-10。作者使用三种攻击方法评估 Siren：符号翻转攻击、标签翻转攻击和有针对性的模型污染，并比较了两种流行的拜占庭鲁棒方法：Krum 和 coordinate-wise median。所有的评估实验都是在一个具有六个 vCores 和一个 NVIDIA Tesla V100 GPU 的 NVIDIA DGX-2 虚拟实例上运行的。
表 8. 本文实验中的参数设置
我们对抵御符号翻转攻击的实验进行详细介绍，关于标签翻转攻击和有针对性的模型污染的实验可见作者原文 [13]。图 12 显示了当 |𝐾|=10 时，FL 系统在符号翻转攻击下利用 Siren、Krum 和 coordinate-wise median 防护的训练效率。图 12(a)、图 12(c)、图 12(b) 和 12(d)分别描述了客户端集合中有 40% 和 80% 的客户端为恶意的情况下 FL 的准确性。在 80% 的客户端是恶意的情况下，无法启动 Krum，所以图 12(b)和 12(d)中省略了 Krum。
在系统中有 40% 的恶意客户端的情况下，Siren 和 Krum 都成功地在 IID 和 Non-IID 训练数据上进行了防御。但是，coordinate-wise median 受到了攻击的较大影响，特别是在 Non-IID 数据中。在系统中有 80% 的恶意客户端的情况下，Krum 和 coordinate-wise median 都无法保护 FL 系统。然而，图 12(b)和图 12(d)显示，Siren 成功地保护了全局模型免受 80% 的恶意客户端的攻击。图 12(b)和图 12(d)比较了有和无权重分析的 Siren。没有权重分析的 Siren 的全局模型准确度曲线突然下降，而有权重分析的 Siren 的全局模型准确度曲线没有这种问题。此外，图 12 显示，所有防御方法的准确度随着恶意比例的增加而下降，因为当恶意比例增加时，可用的训练数据样本较少。
图 12. 当 |𝐾|=10 时，符号翻转攻击的训练效率
图 13 直观展示了每个客户端的恶意指数，该指数由 Siren 服务器维护，通过惩罚机制来确定 Siren 是否能检测到恶意客户端。恶意指数越高，意味着这个客户端更有可能是恶意的，因为它被服务器视为恶意客户端的次数更多。图 14 显示，奖励机制增强了良性更新和恶意更新之间的区别，减少了服务器的误判。
图 13. 当 |𝐾|=10 时，使用 Siren 的符号翻转攻击下服务器上每个客户端的恶意索引
图 14. 当 |𝐾|=10 时，使用 Siren 的惩罚和奖励机制，每个客户端在服务器上的恶意指数（绿色虚线表示𝐶𝑝）
作者进一步探讨 FL 在 CIFAR-10 上运行时 Siren 的性能。作者将 Siren 与 Krum、coordinate-wise median 在符号翻转攻击和标签翻转攻击下进行比较，同时在部署在十个客户端上的 IID 分布式训练数据中进行实验。表 9 显示，无论攻击类型和恶意客户端的比例如何，与 Krum 和 coordinate-wise median 相比，Siren 总是能获得最佳性能。不过，在表 9 中给出的各种情况下，Siren 的准确度都比较低，作者分析这是由于本文中使用的模型比较简单。
作者还利用 CIFAR-10 数据集，用一个更强大的具有更多核的三层 CNN 模型来评估模型污染攻击下的效果。根据这一结果，Krum 和 coordinate-wise median 都失效了，模型的性能随着 Krum 的出现而严重下降，错误分类的置信度会收敛到 1。虽然通过 coordinate-wise median 训练的模型可以达到 67.69% 的准确度，但错误分类的置信度一直等于 1。然而，Siren 成功抵御了这些攻击，并训练了全局模型，达到了 65.47% 的准确度。
表 9. 当 |𝐾|=10 时，使用 IID 数据分布对 CIFAR-10 的训练效率
4、小结
我们选取的三篇文章从不同角度探讨了深度学习中的攻击不可知的防御措施。从这三篇文章也可以看出，在不同的应用场景下、针对不同类型的攻击策略，尽管我们努力做到 “攻击不可知的” 防御，但是攻击方式的思想不同、结构不同、应用的方法 / 模型不同，确实也无法做到彻底的防御“不可知攻击”，相同的模型在不同的场景 / 攻击策略下的效果还是有所差别。但是，攻击不可知的措施能够有效适应攻击可变的性质，具有更广阔的应用前景，值得进一步的关注和研究。
分析师介绍：Jiying，工学博士，毕业于北京交通大学，曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理，现从事电子政务领域信息化新技术研究工作。主要研究方向为模式识别、计算机视觉，爱好科研，希望能保持学习、不断进步。
本文参考引用的文献：
[1] Ji, Y. , X. Zhang , and T. Wang . "EagleEye: Attack-Agnostic Defense against Adversarial Inputs (Technical Report)." (2018).
[2] Fawzi, A., Fawzi, O., and Frossard, P. Analysis of classifiers’ robustness to adversarial perturbations. ArXiv e-prints (2015).
[3] Papernot, N., McDaniel, P., Wu, X., Jha, S., and Swami, A. Distillation as a defense to adversarial perturbations against deep neural networks. In S&P (2016).
[4] Chen J , Zhang X , Zhang R , et al. De-Pois: An Attack-Agnostic Defense against Data Poisoning Attacks[J]. IEEE Transactions on Information Forensics and Security, 2021, PP(99):1-1.
[5] M. Mirza and S. Osindero, “Conditional generative adversarial nets,” 2014, arXiv:1411.1784. [Online]. Available: http://arxiv (http://arxiv/).org/abs/1411.1784
[6] I. Gulrajani, F. Ahmed, M. Arjovsky, V. Dumoulin, and A. C. Courville, “Improved training of Wasserstein GANs,” in Proc. NIPS, 2017, pp. 5767–5777.
[7] Chou, E. , F Tramèr, and G. Pellegrino . "SentiNet: Detecting Physical Attacks Against Deep Learning Systems." (2018).
[8] B. Zhou, A. Khosla, A` . Lapedriza, A. Oliva, and A. Torralba, “Learning deep features for discriminative localization,” CoRR, vol. abs/1512.04150, 2015. [Online]. Available: http://arxiv.org/abs/1512.04150
[9] A. Chattopadhyay, A. Sarkar, P. Howlader, and V. N. Balasubramanian, “Grad-cam++: Generalized gradient-based visual explanations for deep convolutional networks,” CoRR, vol. abs/1710.11063, 2017. [Online]. Available: http://arxiv.org/abs/1710.11063
[10] T. Gu, B. Dolan-Gavitt, and S. Garg, “Badnets: Identifying vulnerabilities in the machine learning model supply chain,” CoRR, vol. abs/1708.06733, 2017. [Online]. Available: http://arxiv.org/abs/1708.06733
[11] Y. Liu, S. Ma, Y. Aafer, W.-C. Lee, J. Zhai, W. Wang, and X. Zhang, “Trojaning attack on neural networks,” in NDSS, 2018.
[12] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, 2014. [Online]. Available: http://arxiv.org/abs/1409.1556
[13] H.Guo, H. Wang, et al. Siren: Byzantine-robust Federated Learning via Proactive Alarming,SoCC' 21.
[14] Xiaoyu Cao, Minghong Fang, Jia Liu, and Neil Zhenqiang Gong. 2020. FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping. arXiv preprint arXiv:2012.13995 (2020).
