最新开源!达摩院发布联邦学习框架FederatedScope

简介: 最新开源!达摩院发布联邦学习框架FederatedScope


今天,阿里巴巴达摩院发布新型联邦学习框架FederatedScope,并面向全球开发者开源。


FederatedScope支持大规模、高效率的联邦学习异步训练,能兼容不同设备运行环境,且提供丰富功能模块,大幅降低了隐私保护计算技术开发与部署难度。



联邦学习核心理念是“数据不动模型动”,其通过用户数据不出本地的方式完成云端模型训练,实现了“数据可用不可见”,成为隐私保护计算主流技术之一。


但随着应用场景和数据类型日趋丰富,已有联邦学习框架难以灵活高效地满足现实中越来越复杂的计算需求,需从注重“可用”到注重“好用”。


为解决上述挑战,达摩院智能计算实验室研发了新型联邦学习框架FederatedScope:


使用新编程范式:达摩院使用了事件驱动的编程范式来构建联邦学习,即将联邦学习看成是参与方之间收发消息的过程,通过定义消息类型以及处理消息的行为来描述联邦学习过程。


通过这一方式,FederatedScope实现了支持在丰富应用场景中进行大规模、高效率的联邦学习异步训练。



抽象训练模块:达摩院团队对FederatedScope训练模块进行抽象,使其不依赖特定的深度学习后端,能兼容PyTorch、Tensorflow等不同设备运行环境,大幅降低了联邦学习在科研与实际应用中的开发难度和成本。


集成多种功能模块:为进一步适应不同应用场景,FederatedScope还集成了多种功能模块,包括自动调参、隐私保护、性能监控、端模型个性化等。


FederatedScope支持开发者通过配置文件便捷地调用集成模块,方便快速入门;也允许通过注册的方式添加新的算法实现并调用,支持定制化及深度开发。


达摩院智能计算实验室资深技术专家丁博麟表示,“通过开源最新联邦学习框架,我们希望促进隐私保护计算在研究和生产中的广泛应用,让医药研发、政务互通、人机交互等数据密集领域更安全、更顺畅地发展。”



/ END /


目录
相关文章
|
7月前
|
物联网 机器人 Swift
|
4月前
|
机器学习/深度学习 数据处理 定位技术
构建您的首个机器学习项目:从理论到实践
【8月更文挑战第28天】本文旨在为初学者提供一个简明的指南,通过介绍一个基础的机器学习项目——预测房价——来揭示机器学习的神秘面纱。我们将从数据收集开始,逐步深入到数据处理、模型选择、训练和评估等环节。通过实际操作,你将学会如何利用Python及其强大的科学计算库来实现自己的机器学习模型。无论你是编程新手还是有一定经验的开发者,这篇文章都将为你打开一扇通往机器学习世界的大门。
|
4月前
|
机器学习/深度学习 编译器 PyTorch
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
自研分布式训练框架EPL问题之吸引社区参与共建如何解决
|
7月前
|
机器学习/深度学习 算法 数据挖掘
【机器学习】各大模型原理简介
【机器学习】各大模型原理简介
218 2
|
7月前
|
数据可视化 物联网 Swift
澜舟科技开源孟子3-13B大模型,魔搭社区推理训练最佳实践!
4月1日,澜舟科技宣布开源Mengzi3-13B大模型,对学术研究完全开放,同时支持免费商用。
|
7月前
|
人工智能 文字识别 物联网
新一代端侧模型,面壁 MiniCPM 2.0开源,魔搭社区最佳实践
MiniCPM-V 2.0 不仅带来优秀端侧多模态通用能力,更带来惊艳的 OCR 表现。通过自研的高清图像解码技术,可以突破传统困境,让更为精准地识别充满纷繁细节的街景、长图在端侧成为可能。
|
机器学习/深度学习 算法 决策智能
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
【重磅开源】Facebook开源 Nevergrad:一种用于无梯度优化的开源工具
218 0
|
机器学习/深度学习 前端开发 算法
阿里云机器学习PAI发布基于HLO的全自动分布式系统 TePDist,并宣布开源!
阿里云PAI发布基于HLO的全自动分布式系统 TePDist正式开源!
|
人工智能 自然语言处理 搜索推荐
40多位学者联合发布基础模型工具学习综述,开源BMTools平台(1)
40多位学者联合发布基础模型工具学习综述,开源BMTools平台
312 0
|
机器学习/深度学习 人工智能 搜索推荐
40多位学者联合发布基础模型工具学习综述,开源BMTools平台(2)
40多位学者联合发布基础模型工具学习综述,开源BMTools平台
265 0