联邦学习原理-中篇(上)

简介: 联邦学习原理-中篇(上)

纵向联邦学习需求建模场景


金融科技-小微企业信贷的风险管理

痛点

image.png


理想很丰满,现实很骨感
银行期望得到密集和全面的企业及其控制人相关信息
但实际上银行通常只有央行征信报告
所以对客户缺乏全面了解并且数据分布严重倾斜

基于联邦学习的解决方案

银行和票据公司合作
通过对近3/6个月的开票金额、央行征信分等标签属性进行联合建模,预测是否预期

image.png



保险科技-个性化定价


痛点

  • 保险公司丰满的理想
  • 具有精准个性化用户画像(几百维)
  • 数据覆盖全面
  • 保险公司骨干的现实
  • 对客户缺乏全面了解
  • 数据分布严重倾斜


image.png


基于纵向联邦进行保险个性化定价

通过对年龄、职业、年租车次等标签属性进行联邦学习建模,预测出险概率,决策是否出险

image.png


横向联邦学习需求建模场景


微众和合作行共建反洗钱模型,期望优化反洗钱模型

image.png


设定

  • Y 表示是否存在洗钱行为
  • 合作行和微众都有(X,Y)
  • 双方不暴露自己的(X,Y)

传统建模方法问题

微众和合作行各自样本不够多

期望结果

  • 保护隐私的条件下,建立联合模型
  • 联合模型效果超过单边数据建模


横向联邦学习


特点

  • 各个参与者拥有的数据特征相同(包括数据标签)
传统的以表格的方式查看数据库
横向的按行对数据分组
每行数据包含的数据特征相同
  • 参与者不需要交换信息
  • 有FedAvg算法
  • 对深度学习(深度神经网络)有很好的支持

image.png



相关文章
|
SQL 数据管理 网络安全
数据管理DMS操作报错合集之DMS的CPU使用率达到100%,如何解决
数据管理DMS(Data Management Service)是阿里云提供的数据库管理和运维服务,它支持多种数据库类型,包括RDS、PolarDB、MongoDB等。在使用DMS进行数据库操作时,可能会遇到各种报错情况。以下是一些常见的DMS操作报错及其可能的原因与解决措施的合集。
|
iOS开发 开发者
解决 Objective-C 中的 EXC_CRASH (SIGABRT) 错误
在Objective-C开发中,EXC_CRASH (SIGABRT) 是常见的运行时错误。面对此类问题,首先要解析Xcode提供的详细错误信息以定位问题所在。随后,仔细审查相关代码,特别是涉及空对象处理的部分,并考虑增加条件判断。利用断言如`NSAssert`可以帮助检测潜在错误,提前中断程序避免崩溃。此外,采用异常处理机制如`@try`/`@catch`可在异常发生时优雅地捕获并处理错误,避免程序终止。结合使用断点、Xcode调试器及打印调试信息等技术,开发者能够更有效地诊断并修复这类错误。
824 1
|
存储 编解码 缓存
FFmpeg编程入门
FFmpeg编程入门
237 1
|
Oracle 架构师 分布式数据库
OceanBase数据库的发展历程是什么?
【8月更文挑战第11天】OceanBase数据库的发展历程是什么?
467 63
|
存储 NoSQL Redis
Redis 配置
10月更文挑战第14天
192 1
|
数据挖掘
R语言方差分析(ANOVA):理解与应用
【8月更文挑战第31天】ANOVA是一种强大的统计方法,用于比较三个或更多组之间的均值差异。在R语言中,我们可以轻松地使用`aov()`函数进行ANOVA分析,并通过后置检验(如TukeyHSD检验)来进一步分析哪些组之间存在显著差异。ANOVA在多个领域都有广泛的应用,是数据分析中不可或缺的工具之一。
|
存储 分布式计算 监控
Spark Standalone模式是一种集群部署方式
【6月更文挑战第17天】Spark Standalone模式是一种集群部署方式
230 7
|
前端开发 iOS开发
input框设置placeholder属性在iOS中显示不完整
input框设置placeholder属性在iOS中显示不完整
196 1
解决Ubuntu18.04无法联网网络的问题
解决Ubuntu18.04无法联网网络的问题
1601 0
解决Ubuntu18.04无法联网网络的问题
|
编解码 数据挖掘 异构计算
Windows平台实现超高分辨率或帧率硬编码
Windows平台实现超高分辨率或帧率硬编码
293 1