1 介绍
年份：2024
作者：南京理工大学的Na Li、西安电子科技大学的Anmin Fu、澳大利亚科工组织的Yansong Gao、南京理工大学的Hui Chen、澳大利亚西澳大学的Zhi Zhang以及悉尼科技大学的Shui Yu
期刊： arXiv preprint 未发表
引用量：1
Li N, Zhou C, Gao Y, et al. Machine Unlearning: Taxonomy, Metrics, Applications, Challenges, and Prospects[J]. arXiv preprint arXiv:2403.08254, 2024.
本文主要探讨了机器遗忘的概念、分类、评价指标、应用场景、挑战和未来研究方向。首先将机器遗忘算法主要被分为精确遗忘（Exact Unlearning）和近似遗忘（Approximate Unlearning），精确遗忘分又为基于凸函数的传统模型和基于非凸函数的复杂模型，近似遗忘又分为数据驱动的近似和模型驱动的近似。机器遗忘效果的评价指标是一套综合考量遗忘操作的有效性、效率和效用的标准，包括验证数据提供者数据是否真正被遗忘的侵入性和非侵入性验证指标，以及评估模型提供者遗忘算法性能的包括重学时间、模型相似度、遗忘速度和模型精度在内的评价指标。此外，总结了机器遗忘在模型优化（Optimization of the Model）和防御攻击（Defense against Attacks）的应用场景，表明机器遗忘不仅可以提升模型性能和安全性，还可以应用于防御各种攻击，这不仅增强了数据隐私保护，还提高了模型的实用性和可信度。最后，本文深入讨论了在分布式学习环境中实现遗忘所面临的挑战，如联邦学习，并提出了相应的解决方案。
2 创新点
- 遗忘算法的全面分类：论文提出了一个详细的遗忘算法分类法，区分了集中式和分布式设置下的遗忘算法，并针对不同应用场景进行了细致的子分类。
- 评价指标的系统化分析：系统地总结了用于衡量遗忘算法质量的评价指标，包括有效性、效率、效用和兼容性，并区分了数据提供者用于验证遗忘效果的侵入性和非侵入性指标。
- 遗忘在分布式学习中的应用探索：深入讨论了在分布式学习环境中实现遗忘所面临的挑战，如联邦学习，并提出了相应的解决方案。
- 遗忘的多场景应用：论文不仅讨论了遗忘在保护数据隐私方面的应用，还扩展到了优化模型、提高模型鲁棒性以及作为防御机制的应用。
- 安全性分析与防御策略：对可能针对遗忘过程的攻击进行了分类和分析，并提出了如何设计更安全的算法来抵御这些攻击。
3 相关研究
3.1 验证指标和评价指标
（1）验证指标（Verification Metrics）
验证指标主要用于数据提供者来验证模型提供者声称的遗忘效果是否真实。
- 侵入性指标（Invasive Metrics）：
- 基于水印的指标：通过在数据或模型参数中嵌入水印（如后门触发器或特定二进制字符串），然后在遗忘后验证这些水印是否仍被模型所记忆。
- 非侵入性指标（Non-invasive Metrics）：
- 成员资格推断指标：确定给定数据样本是否存在于训练数据集中，以验证模型是否仍包含有关被遗忘数据的信息。
- 数据重构指标：基于模型输出或参数，尝试重构训练数据信息，以验证遗忘数据是否仍被模型保留。
- 基于密码学的指标：使用密码学方法提供遗忘过程的证明，如使用简洁的非交互式知识论证。
（2）评价指标（Evaluation Metrics）
评价指标帮助模型提供者评估其遗忘算法的有效性、效用和效率。
- 有效性指标（Effectiveness Metrics）：
- 重学时间指标：测量遗忘后的模型重新获得与原始模型相同精度所需的训练周期数。
- 基于相似度的指标：通过测量遗忘模型与重新训练模型之间的激活、权重或分布距离来评估遗忘效果。
- 理论基础的指标：基于特定遗忘方法设计的指标，如基于重学的指标和基于认证的指标。
- 效率指标（Efficiency Metrics）：
- 遗忘速度指标：评估遗忘过程的效率，测量遗忘操作与从头开始训练相比所需的时间差异。
- 效用指标（Utility Metrics）：
- 在被遗忘数据集上的精度：评估遗忘操作对模型在剩余数据集上预测准确性的影响，确保遗忘后的模型仍然可用。
（3）其他相关指标
- 遗忘率（Forgetting Rate）：通过测量成员资格推断的精度变化来直观地衡量遗忘成功率。
- 记忆掩蔽（Neuron Masking）：通过掩盖神经网络中的特定神经元来实现对特定数据的遗忘。
3.2 机器遗忘的分类
（1）精确遗忘（Exact Unlearning）
精确遗忘的目标是通过重新训练或其他方法，确保遗忘后的模型与从头开始训练的模型在统计上无法区分。
代表性算法：
- SISA：一种适用于深度神经网络的精确遗忘方法，通过重新训练与特定数据分片相关的子模型来实现遗忘。
- GraphEraser：针对图神经网络（GNN）的精确遗忘算法，采用平衡的图分割方法来保护图结构信息。
（2）近似遗忘（Approximate Unlearning）
近似遗忘避免了重新训练的需要，通过直接修改模型参数或数据来近似实现遗忘效果。
代表性算法：
- FedEraser：一种针对联邦学习的近似遗忘方法，通过校准训练过程来消除特定客户端对全局模型的贡献。
- Amnesiac Unlearning：通过重标记数据并调整模型参数来实现遗忘的方法。
- DeltaGrad：利用梯度下降来追踪和利用数据来源，实现快速增量模型更新的方法。
3.3 分布式遗忘
（1）分布式遗忘的挑战（Challenges）
- 数据可用性视角：在分布式学习中，由于隐私保护，客户端可能不分享其数据，服务器无法访问本地训练数据集，导致无法进行服务器端的重新训练，只能执行近似遗忘。
- 模型参数视角：分布式学习中模型参数的更新是一个复杂的过程，涉及到多个客户端的交互，这增加了数据追踪的难度。
- 资源开销视角：分布式学习通常具有较高的通信和时间开销，理想的机器遗忘算法不应增加额外的负担。
（2）联邦遗忘（Federated Unlearning，FU）
联邦遗忘是分布式遗忘的一个重点研究领域，特别是在联邦学习环境中：
- 服务器端联邦遗忘：由于客户端不分享原始训练数据，服务器只能对全局模型执行近似遗忘。这种方法不需要客户端参与，但可能无法完全清除全局模型中的敏感信息。
- 客户端本地联邦遗忘：为了实现更彻底的遗忘，遗忘操作需要在客户端本地执行。这需要设计快速且成本低廉的遗忘方法，同时考虑到边缘设备的计算能力限制。
- 联邦遗忘算法分类：FU算法可以根据主要执行遗忘的实体分为两类：
- 服务器端联邦遗忘：服务器使用历史更新记录和校准训练过程来加速遗忘过程，但可能需要额外的存储空间。
- 客户端本地联邦遗忘：客户端使用快速重训练方法和参数自共享技术来实现遗忘，同时保持模型效用。
- FU的优势与局限：服务器端FU可以快速响应遗忘请求，但遗忘可能不彻底。客户端本地FU可以实现更完整的遗忘，但需要有效的快速遗忘算法。
- 应用场景：FU在不同应用场景中的潜在应用，例如大型企业或物联网（IoT）环境。
3.4 机器遗忘的应用
机器遗忘不仅可以提升模型性能和安全性，还可以应用于防御各种攻击，这不仅增强了数据隐私保护，还提高了模型的实用性和可信度。
（1）模型优化（Optimization of the Model）
机器遗忘技术被用于优化模型，以提高其鲁棒性并减少恶意数据、过时数据或对抗性数据可能带来的负面影响。主要应用场景包括：
- 大型语言模型（LLMs）：通过机器遗忘技术，可以从大型语言模型中擦除特定的数据，以遵守隐私法规、伦理标准，并减少偏见。
- 推荐系统（RES）：机器遗忘技术可以帮助推荐系统忘记特定的用户数据和偏好，以增强用户隐私保护并提高模型的安全性和可靠性。
- 物联网（IoT）：在物联网环境中，机器遗忘技术可以快速更新深度学习模型，以应对错误标记的样本、设备固件升级或数据污染等问题。
（2）防御攻击（Defense against Attacks）
机器遗忘技术也被用作一种有效的防御机制，以增强模型对数据投毒攻击和隐私攻击的鲁棒性。具体包括：
- 被动防御（Passive Defense）：当模型遭受数据投毒或后门攻击后，机器遗忘可以用来清除这些攻击对模型造成的负面影响，恢复模型的效用。
- 主动防御（Active Defense）：在模型遭受隐私攻击之前，机器遗忘可以用来预先擦除与用户私有数据相关的敏感信息，防止攻击者推断出与该数据相关的私有信息。
- 对抗成员资格推断攻击（Membership Inference Attack）：通过机器遗忘减少模型对训练数据的敏感性，使攻击者难以确定特定数据点是否属于训练集。
- 对抗属性推断攻击（Property Inference Attack）：通过改变模型权重和偏差来防止攻击者从模型中推断出训练数据的属性。
- 对抗模型反演攻击（Model Inversion Attack）：通过擦除模型中的私有信息，使攻击者无法从模型输出中重建训练数据的特征。
3.5 对机器遗忘技术的特定攻击类型
针对机器遗忘技术的特定攻击类型，包括成员资格推断攻击、数据投毒攻击和过度遗忘攻击。
（1）成员资格推断攻击（MU-specific Membership Inference Attack）
- 攻击目标：攻击者试图确定某个数据样本是否属于被遗忘的数据集。
- 攻击假设：攻击者可能拥有黑盒访问权限，可以观察模型在遗忘前后的输出差异。
- 攻击方法：通过分析模型的输出概率或置信度，攻击者推断数据点是否在训练数据中。论文中提到了温度缩放、仅发布预测标签或使用差分隐私等防御措施。
（2）数据投毒攻击（MU-specific Data Poisoning Attack）
- 攻击目标：攻击者通过触发频繁的遗忘过程来降低遗忘效率，或通过特定样本降低模型的预测准确性。
- 攻击假设：攻击者可能具有白盒或灰盒访问权限，能够了解模型结构和状态，或仅知道模型架构。
- 攻击方法：通过精心设计的噪声添加，触发不必要的遗忘过程，增加计算和时间消耗；或创建伪装数据点，使遗忘后的模型对特定样本产生误分类。
（3）过度遗忘攻击（Over-unlearning Attack）
- 攻击目标：攻击者通过请求遗忘特定数据，使模型遗忘比正常请求更多的信息，从而降低模型的预测性能。
- 攻击假设：攻击者只有黑盒访问权限，遗忘过程在服务器端进行。
- 攻击方法：攻击者将额外的样本（作为精心设计的数据）混合到被遗忘的数据集中，导致模型在尝试消除这些数据时，无意中丢弃了与另一任务相关的额外信息，导致过度遗忘。
3.6 机器遗忘领域当前面临的挑战
（1）可用的统一验证指标（Usable Unified Verification Metric）
- 挑战：目前缺乏统一标准来验证遗忘操作的质量，现有验证指标可能对模型性能产生负面影响，或者对普通用户来说难以理解和部署。
- 未来方向：需要设计一个安全、有效、易于实施且用户友好的统一验证指标。
（2）广义机器遗忘（Generalized Machine Unlearning）
- 挑战：传统机器遗忘未能充分考虑数据之间的独特联系，可能破坏模型结构，且主要针对分类任务，限制了其在更广泛应用中的潜力。
- 未来方向：寻求能够适应不同实际应用场景的广义机器遗忘方法，包括回归和生成任务。
（3）分布式遗忘的有效性和效率（Effectiveness and Efficiency Distributed Unlearning）
- 挑战：分布式遗忘研究目前主要集中在联邦学习设置上，而其他分布式学习设置也需要遗忘能力来满足用户需求和提高模型鲁棒性。
- 未来方向：探索在各种分布式学习环境中实现有效且高效的遗忘方法。
（4）特征和任务的遗忘（Unlearning for Features and Tasks）
- 挑战：现有的遗忘算法主要集中在基于类别和样本的请求上，不足以满足用户需求，特别是在需要遗忘特定特征或与特定任务相关的数据时。
- 未来方向：开发能够在特征或任务层面进行遗忘的算法，以解决多样化的实际需求。
6 思考
（1）这篇论文对机器遗忘的分类较为粗略，更为详细的分类参考《Machine Unlearning: Solutions and Challenges》，这篇论文中将精确遗忘细分为基于SISA框架的方法和非SISA方法，近似遗忘细分为基于移除数据的影响函数、基于重新优化、基于梯度更新、特定于图数据的近似遗忘。这就是能发一区的原因。
（2）根据2024的四篇综述总结的机器遗忘技术分类
