ICLR 2024:UTS提出全新联邦推荐算法

简介: 【2月更文挑战第17天】ICLR 2024:UTS提出全新联邦推荐算法

31.jpeg
在2024年的ICLR上,悉尼科技大学(University of Technology Sydney)的研究者们提出了一种名为Federated Recommendation with Additive Personalization(FedRAP)的新型联邦推荐算法。这项研究由Zhiwei Li、Guodong Long和Tianyi Zhou共同完成,旨在解决现有联邦学习(FL)模型在构建推荐系统时面临的挑战。

现有的FL模型在客户端共享物品嵌入(item embedding),同时保持用户嵌入(user embedding)的私密性和本地化。然而,这种模型无法捕捉用户对同一物品感知的个体差异,可能导致个性化推荐效果不佳。此外,FL中的密集物品嵌入会导致高昂的通信成本和延迟。为了应对这些挑战,FedRAP提出了一种新的解决方案,它通过FL学习物品的全局视图,并在每个用户本地学习个性化视图。

FedRAP的核心思想是将全局知识共享与本地个性化相结合,通过在物品嵌入上应用加性模型来实现。该算法鼓励全局视图的稀疏性以节省通信成本,并通过两个正则化器强制两个视图互补。研究者们提出了一种有效的课程学习策略,随着正则化权重的逐渐增加,逐步学习本地和全局视图。

在为用户生成推荐时,FedRAP将两个视图相加,以获得个性化的物品嵌入。在多个基准测试中,FedRAP在FL设置下实现了最佳性能,超越了最近的联邦推荐方法和几个消融研究基线。

FedRAP的主要贡献包括:一是与以往方法不同,FedRAP集成了双向个性化。个性化且私密的用户嵌入,以及通过用户特定物品嵌入矩阵D(i)和全局共享物品嵌入矩阵C的加法来实现的物品加性个性化。二是应用了两个正则化器。一个鼓励C的稀疏性(以减少通信成本/开销),另一个强制C和D(i)之间的差异(以保持互补性)。三是在早期训练中,加性个性化可能会因C和D(i)之间的时间变化和重叠而损害性能;为了缓解这一点,通过课程从完全个性化过渡到加性个性化,逐步增加正则化权重。

FedRAP在实验中表现出色,显著优于现有的SOTA(State-of-the-Art)联邦推荐系统方法。研究者们还在六个真实数据集上进行了广泛的实验研究,包括MovieLens-100K、MovieLens1M、Amazon-Instant-Video、LastFM-2K、Ta Feng Grocery和QB-article。这些数据集涵盖了从1到5的显式评分,以及用户互动日志中的隐式反馈数据。

在实验设置中,研究者们为每个正样本随机选择了4个负样本,并为所有方法进行了超参数调整。FedRAP的参数v1和v2在特定的范围内调整,以找到最佳的模型性能。为了公平比较,所有方法都使用了固定的潜在嵌入维度和批量大小。研究者们还开发了FedRAP的集中式变体CentRAP,以展示FedRAP在个性化联邦推荐系统领域内的学习性能上限。

在评估指标方面,研究者们使用了Hit Rate(HR@K)和Normalized Discounted Cumulative Gain(NDCG@K)这两个广泛使用的指标。实验结果表明,FedRAP在大多数情况下都优于其他方法,并在所有联邦方法中表现最佳。CentRAP在所有数据集上的表现略优于FedRAP,这表明了FedRAP在所使用数据集上的性能上限。

为了进一步验证FedRAP的有效性,研究者们还进行了消融研究,包括FedRAP-C、FedRAP-D、FedRAP-No、FedRAP-L2、FedRAP-fixed、FedRAP-sin、FedRAP-square和FedRAP-frac等变体。这些变体帮助研究者们理解了FedRAP各个组成部分的影响,以及不同权重课程对FedRAP性能的影响。

此外,研究者们还探讨了FedRAP在不同稀疏性水平的数据集上的性能,以及在引入差分隐私(Differential Privacy)保护后的性能变化。实验结果表明,即使在引入差分隐私后,FedRAP的性能仍然优于基准方法,这表明了FedRAP在保护用户隐私的同时,仍然能够保持较高的推荐性能。

最后,研究者们讨论了FedRAP的局限性,指出当前算法需要在每个用户的设备上存储完整的物品嵌入矩阵,这可能需要大量的存储空间。为了解决这个问题,未来的工作将考虑只存储用户互动过的物品的嵌入,同时关注新用户的冷启动问题。

FedRAP作为一种新型的联邦推荐算法,通过加性个性化和变量权重技术,在保护用户隐私的同时,实现了高效的个性化推荐。这项研究为联邦推荐系统领域提供了新的视角和解决方案。

目录
相关文章
|
10月前
|
机器学习/深度学习 算法 Oracle
ICLR 2024:近似最优的最大损失函数量子优化算法
【2月更文挑战第27天】ICLR 2024:近似最优的最大损失函数量子优化算法
193 3
ICLR 2024:近似最优的最大损失函数量子优化算法
|
机器学习/深度学习 人工智能 算法
【ICLR 2018】模型集成的TRPO算法【附代码】
【ICLR 2018】模型集成的TRPO算法【附代码】
103 0
|
机器学习/深度学习 运维 算法
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
594 0
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
|
机器学习/深度学习 人工智能 算法
ICLR 2022|让绝艺上桌打麻将,腾讯AI Lab全新策略优化算法战胜人类冠军
ICLR 2022|让绝艺上桌打麻将,腾讯AI Lab全新策略优化算法战胜人类冠军
409 0
|
机器学习/深度学习 算法 决策智能
ICLR 2018最佳论文重磅出炉!Adam新算法、球形CNN等受关注
今天,ICLR官网公布了ICLR 2018的最佳论文,一共三篇。这些论文在被ICLR接收之后持续得到讨论,包括提出新的Adam变体算法,处理球面图像的问题的球形CNN,learning to learn框架的持续性适应问题等。本文带来详细解读。
47011 0
|
6天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于生物地理算法的MLP多层感知机优化matlab仿真
本程序基于生物地理算法(BBO)优化MLP多层感知机,通过MATLAB2022A实现随机数据点的趋势预测,并输出优化收敛曲线。BBO模拟物种在地理空间上的迁移、竞争与适应过程,以优化MLP的权重和偏置参数,提升预测性能。完整程序无水印,适用于机器学习和数据预测任务。
|
5天前
|
资源调度 算法 数据可视化
基于IEKF迭代扩展卡尔曼滤波算法的数据跟踪matlab仿真,对比EKF和UKF
本项目基于MATLAB2022A实现IEKF迭代扩展卡尔曼滤波算法的数据跟踪仿真,对比EKF和UKF的性能。通过仿真输出误差收敛曲线和误差协方差收敛曲线,展示三种滤波器的精度差异。核心程序包括数据处理、误差计算及可视化展示。IEKF通过多次迭代线性化过程,增强非线性处理能力;UKF避免线性化,使用sigma点直接处理非线性问题;EKF则通过一次线性化简化处理。
|
7天前
|
算法 数据安全/隐私保护
基于二次规划优化的OFDM系统PAPR抑制算法的matlab仿真
本程序基于二次规划优化的OFDM系统PAPR抑制算法,旨在降低OFDM信号的高峰均功率比(PAPR),以减少射频放大器的非线性失真并提高电源效率。通过MATLAB2022A仿真验证,核心算法通过对原始OFDM信号进行预编码,最小化最大瞬时功率,同时约束信号重构误差,确保数据完整性。完整程序运行后无水印,展示优化后的PAPR性能提升效果。
|
4天前
|
算法 数据安全/隐私保护 计算机视觉
基于sift变换的农田杂草匹配定位算法matlab仿真
本项目基于SIFT算法实现农田杂草精准识别与定位,运行环境为Matlab2022a。完整程序无水印,提供详细中文注释及操作视频。核心步骤包括尺度空间极值检测、关键点定位、方向分配和特征描述符生成。该算法通过特征匹配实现杂草定位,适用于现代农业中的自动化防控。
|
10天前
|
机器学习/深度学习 数据采集 算法
基于PSO粒子群优化的CNN-LSTM-SAM网络时间序列回归预测算法matlab仿真
本项目展示了基于PSO优化的CNN-LSTM-SAM网络时间序列预测算法。使用Matlab2022a开发,完整代码含中文注释及操作视频。算法结合卷积层提取局部特征、LSTM处理长期依赖、自注意力机制捕捉全局特征,通过粒子群优化提升预测精度。适用于金融市场、气象预报等领域,提供高效准确的预测结果。

热门文章

最新文章