CIKM 2022 AnalytiCup Competition: 联邦异质任务学习

简介: 为了探索联邦学习中的异质性,推动联邦学习领域的发展,阿里巴巴达摩院智能计算实验室联合天池举办“CIKM 2022 AnalytiCup Competition: 联邦异质任务学习”大赛,期待借助本次比赛助力打破现实应用中的“数据孤岛”,推动实现数据价值的共享。

CIKM 2022 AnalytiCup Competition: 联邦异质任务学习

联邦学习(Federated Learning)是一种新的机器学习范式,允许多个参与者在不直接分享各自数据的前提下共同训练机器学习模型。其核心挑战是如何应对参与者之间的异质性(Heterogeneity),其中数据分布的异质性(non-IID)已引起了研究界的广泛关注,并快速成为了联邦学习领域的研究热点之一。然而,在联邦学习的许多实际应用中,联邦任务参与者之间的异质性往往更加复杂,也更具挑战性:不仅仅是数据分布,甚至参与者的任务都会呈现出较大的差异性。例如,在一个分子图的联邦学习任务中,某些参与者的目标是对分子的类型进行判断,即分类任务,另外部分参与者的目标是预测分子化学性质的强弱,即回归任务。在这种任务场景下,虽然参与者都要求训练得到的模型具有对分子图表征的理解能力,但是其具体的学习目标是完全不同的,相比数据分布的异质性更具挑战性。

为了应对联邦学习在现实应用中遇到的上述挑战,阿里巴巴达摩院智能计算实验室提出了一种新的联邦学习设定:联邦异质任务学习(Federated hetero-task learning)。相比于传统的联邦学习,这一设定鼓励研究者将联邦学习与多任务学习(Multi-task learning)、模型预训练(Model pre-training)、自动机器学习(Auto-ML)等不同领域的研究概念进行融合,从而打通现实应用中的“数据孤岛”,并最终实现数据价值的共享。与此同时,达摩院智能计算实验室设计实现了开源的联邦学习平台——FederatedScope[1,2],来帮助研究人员更加容易地探索、设计、实现联邦异质任务学习算法,并进行充分地验证。

同时,阿里巴巴达摩院智能计算实验室联合天池举办“CIKM 2022 AnalytiCup Competition: 联邦异质任务学习”大赛,并准备了丰厚的奖励,期待更多的同学能够共同参与到联邦异质任务学习的探索中。

为了帮助参赛者能够尽快上手,我们准备了一个详细的教程,并提供了一个可以直接使用的playground供参赛者使用。

  • 比赛官方网址:https://tianchi.aliyun.com/competition/entrance/532008/introduction
  • FederatedScope开源联邦学习平台:https://github.com/alibaba/FederatedScope
  • 比赛奖金:

    • 第一名:5000 USD
    • 第二名:3000 USD
    • 第三名:1500 USD
    • 第四至十名:各500 USD
  • 比赛证书:

    • 第一至二十名:排名证书
    • 其他:参赛证书
  • 比赛时间安排(所有时间以截止日期的UTC时间11:59PM计算)

    • 2022年07月15日:比赛开始,数据集和代码开放下载。论坛和比赛排行榜开始更新。
    • 2022年09月01日:比赛注册结束。
    • 2022年09月11日:预测结果提交截止。
    • 2022年09月12日:主办方进行代码审查,排行榜前30名的队伍将自动进入代码审查阶段。
    • 2022年09月18日:公布代码审查结果。
    • 2022年09月21日:公布"CIKM 2022 AnalytiCup Competition"结果。
    • 2022年10月17日:CIKM 2022会议开始。

引用

  1. FederatedScope: A Flexible Federated Learning Platform for Heterogeneity. arXiv preprint 2022. pdf
  2. FederatedScope-GNN: Towards a Unified, Comprehensive and Efficient Package for Federated Graph Learning. KDD 2022. pdf
相关文章
|
7月前
|
机器学习/深度学习 编解码 计算机视觉
【论文速递】CVPR2022-Blind2Unblind:具有可见盲点的自监督图像去噪
【论文速递】CVPR2022-Blind2Unblind:具有可见盲点的自监督图像去噪
|
机器学习/深度学习 数据挖掘 数据库
7 Papers & Radios | ICLR 2022杰出论文奖;MIT将热光伏发电效率提到40%(1)
7 Papers & Radios | ICLR 2022杰出论文奖;MIT将热光伏发电效率提到40%
184 0
|
4月前
|
机器学习/深度学习 自然语言处理 算法
ICML 2024 Oral:DPO是否比PPO更适合LLM,清华吴翼团队最新揭秘
【8月更文挑战第13天】在自然语言处理领域,大型语言模型的对齐日益重要。直接偏好优化(DPO)作为无需奖励模型的新方法,虽在学术界受关注,但在实践中,如ChatGPT等应用仍青睐近端策略优化(PPO)。清华大学吴翼团队通过理论分析与实证研究发现DPO潜在局限性,并揭示PPO在LLM微调中取得优异性能的关键因素,如优势归一化、大批量大小及指数移动平均更新等。实验表明,PPO在多个任务中超越DPO,特别是在代码生成任务中取得领先成果。然而,这些发现需更多研究验证。论文详情见: https://arxiv.org/pdf/2404.10719
174 60
|
4月前
|
存储
【博士每天一篇论文-理论分析】Dynamical systems, attractors, and neural circuits
本文是2016年Paul Miller在《F1000Research》上发表的论文,深入探讨了神经回路中的动力系统和吸引子,强调了使用基于动力系统的数学模型对神经回路进行准确建模的重要性,并分析了点吸引子、多稳态、记忆、抑制稳定网络等不同动力学系统在神经回路中的作用及对认知功能的影响。
25 7
【博士每天一篇论文-理论分析】Dynamical systems, attractors, and neural circuits
|
4月前
|
机器学习/深度学习 算法 机器人
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
63 9
|
6月前
|
测试技术 自然语言处理 人工智能
从80个模型中构建Scaling Law:华人博士生新作,思维链提出者力荐
【6月更文挑战第3天】华人博士生团队联合斯坦福、多伦多大学和Vector Institute提出观测缩放律,通过分析80个语言模型构建通用缩放模型,预测LM性能。研究显示,模型能力可用低维空间表示,与计算量呈对数线性关系。通过主成分分析,他们揭示了模型的通用、推理和编程能力。此方法能预测复杂现象和未来模型如GPT-4的性能,低成本评估后训练干预效果。然而,模型局限性在于可能不适应未来显著不同的模型和任务,也无法完全考虑所有影响性能的因素。[链接](https://arxiv.org/pdf/2405.10938)
56 2
|
7月前
|
存储 搜索推荐 算法
ICLR 2024:UTS提出全新联邦推荐算法
【2月更文挑战第17天】ICLR 2024:UTS提出全新联邦推荐算法
277 2
ICLR 2024:UTS提出全新联邦推荐算法
|
机器学习/深度学习 存储 缓存
万物皆Contrastive Learning,从ICLR和NIPS上解读对比学习最新研究进展(二)
万物皆Contrastive Learning,从ICLR和NIPS上解读对比学习最新研究进展(二)
638 0
万物皆Contrastive Learning,从ICLR和NIPS上解读对比学习最新研究进展(二)
|
机器学习/深度学习 人工智能 算法
【Nature论文浅析】基于模型的AlphaGo Zero
【Nature论文浅析】基于模型的AlphaGo Zero
129 0
|
机器学习/深度学习 算法 网络架构
特拉维夫大学把StyleGAN进行了大汇总,全面了解SOTA方法、架构新进展
特拉维夫大学把StyleGAN进行了大汇总,全面了解SOTA方法、架构新进展
156 0