横向联邦应用场景
安防领域
不同地方的视觉业务：行人检测、出行检测、区域检测、设备异常检测、安全帽检测、火焰检测、烟雾检测
痛点
- 标签数量少
- 数据分散，集中管理成本高
- 离散延迟的模型更新和反馈
联邦学习解决方案
- 在线模型更新和反馈
- 无需集中上传数据
- 数据保护，隐私性高
- 相对于本地建模进一步提升算法准确率
- 形成网络效应，将低长尾应用成本，提升视觉业务总体利润率
横向联邦解决医疗大数据
痛点
- 医疗数据高度隐私，数据维护方对患者数据管理严格，使用严谨
- 数据分散，单一组织缺乏足够多的可用样本
天然适合医疗大数据场景
- 数据安全共享机制，有效保护用户隐私
- 安全连接分散的数据源，共建数据模型
- 安全联合建模效果几乎无损
多机构联合脑卒中预测
联邦学习建立脑卒中患病概率预测模型
- 三家三甲医院+两家小医院
- 患病住院流程数据和体征数据
效果
- 基于联邦学习的联合建模效果优于任意一家医院数据独立建模效果
- 联邦学习训练所得模型效果与集中数据训练所得模型效果差异甚微
每家医院样本情况
Epoch：使用训练集中的全部数据对模型进行一次完整的训练 被称为一代训练 类似的概念： Batch:使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这一小部分样本被称为一批数据 Iteration：使用一个Batch的数据对模型进行一次参数更新的过程 被称为一次训练
FATE
- 工业级联邦学习系统
- 有效帮助多个机构在符合数据安全和政府法规前提下，进行数据使用和联合建模
设计原则
- 支持多种主流算法：机器学习、深度学习、迁移学习提供高性能联邦学习机制
- 支持多种多方安全计算协议：同态加密、秘密共享、哈希散列等
- 友好的跨域交互管理方案，解决了联邦学习信息安全审计难题
技术架构
Federated ML
联邦学习算法：联邦特征工程、联邦统计、联邦LR、GBDT、DNN
Fate-Board
联邦建模可视化： a、联邦建模任务生命周期过程可视化 b、联邦模型可视化，评估报告可视化
Fate-Flow
端到端的联邦建模Pipeline调度 a、联邦建模多任务调度 b、容错和自动错误恢复
Fate-Serving
生产环境在线推理服务 a、模型在线预测能力 b、在线模型管理能力
Fate-Cloud Manager
数据合作网格搭建基础管理设施 多方进行联合
KubeFate
云原生技术管理 Fate Workload 让Fate快速部署在K8S上
端到端联邦建模Pipeline调度和管理
DAG定义联邦学习Pipeline
- 多方非对称Pipeline DAG
- 通用JSON格式DAG DSL、DSL Parser
联邦任务协同调度
- 多方任务队列
- 分发任务
- 状态同步等协同调度
联邦模型管理
- 联邦模型存取、一致性、版本、发布管理
联邦任务生命周期管理
- 多方启停、状态检测
联邦状态输入输出实时追踪
- 数据、模型、自定义指标日志等实时记录存储
联邦建模Pipeline调度和管理
Fate-Serving ：高性能联邦在线推理服务
帮助客户解决模型部署复杂、手工扩展资源效率低下的问题
- 高性能、基于GRPC协议，批量联邦请求，联邦参与方模型结果多级缓存
- 高可用，无状态设计，异常降级功能
- 高弹性，模型&数据处理App动态加载
架构图
