在2024年的ICLR上，悉尼科技大学（University of Technology Sydney）的研究者们提出了一种名为Federated Recommendation with Additive Personalization（FedRAP）的新型联邦推荐算法。这项研究由Zhiwei Li、Guodong Long和Tianyi Zhou共同完成，旨在解决现有联邦学习（FL）模型在构建推荐系统时面临的挑战。
现有的FL模型在客户端共享物品嵌入（item embedding），同时保持用户嵌入（user embedding）的私密性和本地化。然而，这种模型无法捕捉用户对同一物品感知的个体差异，可能导致个性化推荐效果不佳。此外，FL中的密集物品嵌入会导致高昂的通信成本和延迟。为了应对这些挑战，FedRAP提出了一种新的解决方案，它通过FL学习物品的全局视图，并在每个用户本地学习个性化视图。
FedRAP的核心思想是将全局知识共享与本地个性化相结合，通过在物品嵌入上应用加性模型来实现。该算法鼓励全局视图的稀疏性以节省通信成本，并通过两个正则化器强制两个视图互补。研究者们提出了一种有效的课程学习策略，随着正则化权重的逐渐增加，逐步学习本地和全局视图。
在为用户生成推荐时，FedRAP将两个视图相加，以获得个性化的物品嵌入。在多个基准测试中，FedRAP在FL设置下实现了最佳性能，超越了最近的联邦推荐方法和几个消融研究基线。
FedRAP的主要贡献包括：一是与以往方法不同，FedRAP集成了双向个性化。个性化且私密的用户嵌入，以及通过用户特定物品嵌入矩阵D(i)和全局共享物品嵌入矩阵C的加法来实现的物品加性个性化。二是应用了两个正则化器。一个鼓励C的稀疏性（以减少通信成本/开销），另一个强制C和D(i)之间的差异（以保持互补性）。三是在早期训练中，加性个性化可能会因C和D(i)之间的时间变化和重叠而损害性能；为了缓解这一点，通过课程从完全个性化过渡到加性个性化，逐步增加正则化权重。
FedRAP在实验中表现出色，显著优于现有的SOTA（State-of-the-Art）联邦推荐系统方法。研究者们还在六个真实数据集上进行了广泛的实验研究，包括MovieLens-100K、MovieLens1M、Amazon-Instant-Video、LastFM-2K、Ta Feng Grocery和QB-article。这些数据集涵盖了从1到5的显式评分，以及用户互动日志中的隐式反馈数据。
在实验设置中，研究者们为每个正样本随机选择了4个负样本，并为所有方法进行了超参数调整。FedRAP的参数v1和v2在特定的范围内调整，以找到最佳的模型性能。为了公平比较，所有方法都使用了固定的潜在嵌入维度和批量大小。研究者们还开发了FedRAP的集中式变体CentRAP，以展示FedRAP在个性化联邦推荐系统领域内的学习性能上限。
在评估指标方面，研究者们使用了Hit Rate（HR@K）和Normalized Discounted Cumulative Gain（NDCG@K）这两个广泛使用的指标。实验结果表明，FedRAP在大多数情况下都优于其他方法，并在所有联邦方法中表现最佳。CentRAP在所有数据集上的表现略优于FedRAP，这表明了FedRAP在所使用数据集上的性能上限。
为了进一步验证FedRAP的有效性，研究者们还进行了消融研究，包括FedRAP-C、FedRAP-D、FedRAP-No、FedRAP-L2、FedRAP-fixed、FedRAP-sin、FedRAP-square和FedRAP-frac等变体。这些变体帮助研究者们理解了FedRAP各个组成部分的影响，以及不同权重课程对FedRAP性能的影响。
此外，研究者们还探讨了FedRAP在不同稀疏性水平的数据集上的性能，以及在引入差分隐私（Differential Privacy）保护后的性能变化。实验结果表明，即使在引入差分隐私后，FedRAP的性能仍然优于基准方法，这表明了FedRAP在保护用户隐私的同时，仍然能够保持较高的推荐性能。
最后，研究者们讨论了FedRAP的局限性，指出当前算法需要在每个用户的设备上存储完整的物品嵌入矩阵，这可能需要大量的存储空间。为了解决这个问题，未来的工作将考虑只存储用户互动过的物品的嵌入，同时关注新用户的冷启动问题。
FedRAP作为一种新型的联邦推荐算法，通过加性个性化和变量权重技术，在保护用户隐私的同时，实现了高效的个性化推荐。这项研究为联邦推荐系统领域提供了新的视角和解决方案。
