ICLR 2024:UTS提出全新联邦推荐算法

简介: 【2月更文挑战第17天】ICLR 2024:UTS提出全新联邦推荐算法

31.jpeg
在2024年的ICLR上,悉尼科技大学(University of Technology Sydney)的研究者们提出了一种名为Federated Recommendation with Additive Personalization(FedRAP)的新型联邦推荐算法。这项研究由Zhiwei Li、Guodong Long和Tianyi Zhou共同完成,旨在解决现有联邦学习(FL)模型在构建推荐系统时面临的挑战。

现有的FL模型在客户端共享物品嵌入(item embedding),同时保持用户嵌入(user embedding)的私密性和本地化。然而,这种模型无法捕捉用户对同一物品感知的个体差异,可能导致个性化推荐效果不佳。此外,FL中的密集物品嵌入会导致高昂的通信成本和延迟。为了应对这些挑战,FedRAP提出了一种新的解决方案,它通过FL学习物品的全局视图,并在每个用户本地学习个性化视图。

FedRAP的核心思想是将全局知识共享与本地个性化相结合,通过在物品嵌入上应用加性模型来实现。该算法鼓励全局视图的稀疏性以节省通信成本,并通过两个正则化器强制两个视图互补。研究者们提出了一种有效的课程学习策略,随着正则化权重的逐渐增加,逐步学习本地和全局视图。

在为用户生成推荐时,FedRAP将两个视图相加,以获得个性化的物品嵌入。在多个基准测试中,FedRAP在FL设置下实现了最佳性能,超越了最近的联邦推荐方法和几个消融研究基线。

FedRAP的主要贡献包括:一是与以往方法不同,FedRAP集成了双向个性化。个性化且私密的用户嵌入,以及通过用户特定物品嵌入矩阵D(i)和全局共享物品嵌入矩阵C的加法来实现的物品加性个性化。二是应用了两个正则化器。一个鼓励C的稀疏性(以减少通信成本/开销),另一个强制C和D(i)之间的差异(以保持互补性)。三是在早期训练中,加性个性化可能会因C和D(i)之间的时间变化和重叠而损害性能;为了缓解这一点,通过课程从完全个性化过渡到加性个性化,逐步增加正则化权重。

FedRAP在实验中表现出色,显著优于现有的SOTA(State-of-the-Art)联邦推荐系统方法。研究者们还在六个真实数据集上进行了广泛的实验研究,包括MovieLens-100K、MovieLens1M、Amazon-Instant-Video、LastFM-2K、Ta Feng Grocery和QB-article。这些数据集涵盖了从1到5的显式评分,以及用户互动日志中的隐式反馈数据。

在实验设置中,研究者们为每个正样本随机选择了4个负样本,并为所有方法进行了超参数调整。FedRAP的参数v1和v2在特定的范围内调整,以找到最佳的模型性能。为了公平比较,所有方法都使用了固定的潜在嵌入维度和批量大小。研究者们还开发了FedRAP的集中式变体CentRAP,以展示FedRAP在个性化联邦推荐系统领域内的学习性能上限。

在评估指标方面,研究者们使用了Hit Rate(HR@K)和Normalized Discounted Cumulative Gain(NDCG@K)这两个广泛使用的指标。实验结果表明,FedRAP在大多数情况下都优于其他方法,并在所有联邦方法中表现最佳。CentRAP在所有数据集上的表现略优于FedRAP,这表明了FedRAP在所使用数据集上的性能上限。

为了进一步验证FedRAP的有效性,研究者们还进行了消融研究,包括FedRAP-C、FedRAP-D、FedRAP-No、FedRAP-L2、FedRAP-fixed、FedRAP-sin、FedRAP-square和FedRAP-frac等变体。这些变体帮助研究者们理解了FedRAP各个组成部分的影响,以及不同权重课程对FedRAP性能的影响。

此外,研究者们还探讨了FedRAP在不同稀疏性水平的数据集上的性能,以及在引入差分隐私(Differential Privacy)保护后的性能变化。实验结果表明,即使在引入差分隐私后,FedRAP的性能仍然优于基准方法,这表明了FedRAP在保护用户隐私的同时,仍然能够保持较高的推荐性能。

最后,研究者们讨论了FedRAP的局限性,指出当前算法需要在每个用户的设备上存储完整的物品嵌入矩阵,这可能需要大量的存储空间。为了解决这个问题,未来的工作将考虑只存储用户互动过的物品的嵌入,同时关注新用户的冷启动问题。

FedRAP作为一种新型的联邦推荐算法,通过加性个性化和变量权重技术,在保护用户隐私的同时,实现了高效的个性化推荐。这项研究为联邦推荐系统领域提供了新的视角和解决方案。

目录
相关文章
|
10月前
|
机器学习/深度学习 算法 Oracle
ICLR 2024:近似最优的最大损失函数量子优化算法
【2月更文挑战第27天】ICLR 2024:近似最优的最大损失函数量子优化算法
193 3
ICLR 2024:近似最优的最大损失函数量子优化算法
|
机器学习/深度学习 人工智能 算法
【ICLR 2018】模型集成的TRPO算法【附代码】
【ICLR 2018】模型集成的TRPO算法【附代码】
101 0
|
机器学习/深度学习 运维 算法
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
594 0
ICLR Spotlight! 清华提出时序异常检测算法,连刷5个SOTA
|
机器学习/深度学习 人工智能 算法
ICLR 2022|让绝艺上桌打麻将,腾讯AI Lab全新策略优化算法战胜人类冠军
ICLR 2022|让绝艺上桌打麻将,腾讯AI Lab全新策略优化算法战胜人类冠军
406 0
|
机器学习/深度学习 算法 决策智能
ICLR 2018最佳论文重磅出炉!Adam新算法、球形CNN等受关注
今天,ICLR官网公布了ICLR 2018的最佳论文,一共三篇。这些论文在被ICLR接收之后持续得到讨论,包括提出新的Adam变体算法,处理球面图像的问题的球形CNN,learning to learn框架的持续性适应问题等。本文带来详细解读。
47010 0
|
11天前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
本研究基于MATLAB 2022a,使用GRU网络对QAM调制信号进行检测。QAM是一种高效调制技术,广泛应用于现代通信系统。传统方法在复杂环境下性能下降,而GRU通过门控机制有效提取时间序列特征,实现16QAM、32QAM、64QAM、128QAM的准确检测。仿真结果显示,GRU在低SNR下表现优异,且训练速度快,参数少。核心程序包括模型预测、误检率和漏检率计算,并绘制准确率图。
83 65
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
|
2天前
|
机器学习/深度学习 数据采集 算法
基于PSO粒子群优化的CNN-LSTM-SAM网络时间序列回归预测算法matlab仿真
本项目展示了基于PSO优化的CNN-LSTM-SAM网络时间序列预测算法。使用Matlab2022a开发,完整代码含中文注释及操作视频。算法结合卷积层提取局部特征、LSTM处理长期依赖、自注意力机制捕捉全局特征,通过粒子群优化提升预测精度。适用于金融市场、气象预报等领域,提供高效准确的预测结果。
|
2天前
|
算法 数据安全/隐私保护
基于Big-Bang-Big-Crunch(BBBC)算法的目标函数最小值计算matlab仿真
该程序基于Big-Bang-Big-Crunch (BBBC)算法,在MATLAB2022A中实现目标函数最小值的计算与仿真。通过模拟宇宙大爆炸和大收缩过程,算法在解空间中搜索最优解。程序初始化随机解集,经过扩张和收缩阶段逐步逼近全局最优解,并记录每次迭代的最佳适应度。最终输出最佳解及其对应的目标函数最小值,并绘制收敛曲线展示优化过程。 核心代码实现了主循环、粒子位置更新、适应度评估及最优解更新等功能。程序运行后无水印,提供清晰的结果展示。
|
3天前
|
算法 数据挖掘 数据安全/隐私保护
基于CS模型和CV模型的多目标协同滤波跟踪算法matlab仿真
本项目基于CS模型和CV模型的多目标协同滤波跟踪算法,旨在提高复杂场景下多个移动目标的跟踪精度和鲁棒性。通过融合目标间的关系和数据关联性,优化跟踪结果。程序在MATLAB2022A上运行,展示了真实轨迹与滤波轨迹的对比、位置及速度误差均值和均方误差等关键指标。核心代码包括对目标轨迹、速度及误差的详细绘图分析,验证了算法的有效性。该算法结合CS模型的初步聚类和CV模型的投票机制,增强了目标状态估计的准确性,尤其适用于遮挡、重叠和快速运动等复杂场景。
|
1天前
|
算法 数据安全/隐私保护
基于Adaboost的数据分类算法matlab仿真
本程序基于Adaboost算法进行数据分类的Matlab仿真,对比线性与非线性分类效果。使用MATLAB2022A版本运行,展示完整无水印结果。AdaBoost通过迭代训练弱分类器并赋予错分样本更高权重,最终组合成强分类器,显著提升预测准确率。随着弱分类器数量增加,训练误差逐渐减小。核心代码实现详细,适合研究和教学使用。

热门文章

最新文章