联邦学习原理-中篇(上)

简介: 联邦学习原理-中篇(上)

纵向联邦学习需求建模场景


金融科技-小微企业信贷的风险管理

痛点

image.png


理想很丰满,现实很骨感
银行期望得到密集和全面的企业及其控制人相关信息
但实际上银行通常只有央行征信报告
所以对客户缺乏全面了解并且数据分布严重倾斜

基于联邦学习的解决方案

银行和票据公司合作
通过对近3/6个月的开票金额、央行征信分等标签属性进行联合建模,预测是否预期

image.png



保险科技-个性化定价


痛点

  • 保险公司丰满的理想
  • 具有精准个性化用户画像(几百维)
  • 数据覆盖全面
  • 保险公司骨干的现实
  • 对客户缺乏全面了解
  • 数据分布严重倾斜


image.png


基于纵向联邦进行保险个性化定价

通过对年龄、职业、年租车次等标签属性进行联邦学习建模,预测出险概率,决策是否出险

image.png


横向联邦学习需求建模场景


微众和合作行共建反洗钱模型,期望优化反洗钱模型

image.png


设定

  • Y 表示是否存在洗钱行为
  • 合作行和微众都有(X,Y)
  • 双方不暴露自己的(X,Y)

传统建模方法问题

微众和合作行各自样本不够多

期望结果

  • 保护隐私的条件下,建立联合模型
  • 联合模型效果超过单边数据建模


横向联邦学习


特点

  • 各个参与者拥有的数据特征相同(包括数据标签)
传统的以表格的方式查看数据库
横向的按行对数据分组
每行数据包含的数据特征相同
  • 参与者不需要交换信息
  • 有FedAvg算法
  • 对深度学习(深度神经网络)有很好的支持

image.png



相关文章
|
4月前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
2月前
|
机器学习/深度学习 人工智能 算法
计算机算法基础概述与常用算法解析
计算机算法基础概述与常用算法解析
|
4月前
|
机器学习/深度学习 监控 算法
了解量化交易领域基本概念
了解量化交易领域基本概念
106 0
|
3月前
|
算法
计算机算法设计与分析 第1章 算法概述 (笔记)
计算机算法设计与分析 第1章 算法概述 (笔记)
|
12月前
|
机器学习/深度学习 人工智能 运维
异常检测:探索数据深层次背后的奥秘《中篇》
异常检测:探索数据深层次背后的奥秘《中篇》
异常检测:探索数据深层次背后的奥秘《中篇》
|
机器学习/深度学习 算法 数据安全/隐私保护
「隐语小课」联邦学习之基本方法
「隐语小课」联邦学习之基本方法
|
机器学习/深度学习 算法 安全
「隐语小课」联邦学习之通信优化
「隐语小课」联邦学习之通信优化
339 0
分布式理论学习-分布式技术原理
知其然知其所以然,学习分布式的过程中,对于理论知识是必不可少的,主要是分布式互斥、分布式选举、分布式共识、分布式事务、分布式锁。
|
架构师
《架构师修炼之道》第八章--建立模型,化繁为简
项目进入了开发阶段,我们发现团队成员描述同一架构元素时使用的词汇各不相同。我们的设计决策表面上取得了一致意见,但大家实际各有各的理解。
338 0
《架构师修炼之道》第八章--建立模型,化繁为简