隐语v0.7版本升级,功能详情一览

简介: 隐语v0.7版本升级,功能详情一览


收录于合集

#隐语解读20

#版本更新7

据此前隐语开源社区开展的「使用体验&功能需求」调研:在技术路线上,广大开发者最常用的技术集中在隐私求交、多方安全计算、联邦学习;在功能需求上,则对于数据分析算子丰富、机器学习算子丰富、文档优化(如结构调整、代码示例的增加)的需求更为迫切。此次隐语v0.7版本更新对这些反馈建议均有覆盖:

版本更新要点🌟

1、多方安全计算能力

  • 支持多种3PC的机器学习算法,包括LR,XGB,NN,及VIF,Binning,PearsonR等特征工程算法,支持2PC LR算法。
  • 隐私集合求交新增实现PCG-PSI,“隐语”是首个实现[BC22]方案的隐私计算框架。
    [BC22]:https://eprint.iacr.org/2022/334
  • 自研DP-PSI提供差分隐私保护的安全求交集,交集可“用”不可“见” (当前提供C++源代码内核)。
    [DP-PSI]:https://arxiv.org/pdf/2208.13249

2、联邦学习能力

  • 数据混合切分场景新增逻辑回归算法。
  • 水平联邦新增策略抽象,内置多种non-iid优化、通信优化等SOTA策略。
  • 水平和垂直联邦DNN差分隐私保护增强。

3、基础设施及性能优化

  • 新增 HEU.numpy模块,相比基于原生 numpy 的明密文矩阵运算性能更高
  • SPU ABY3性能和内存优化,Cheetah 矩阵乘法优化(零密文旋转,性能提高5x)

4、文档优化

  • 提供中文化文档。
  • 优化文档结构,给到用户更顺畅的体验。
  • 丰富了算法和架构设计说明

版本更新详情


多方安全计算能力🔍

1. SPU密文计算设备

  • [编译器] Tensorflow 前端实验性支持
  • [编译器] 定点数乘整数优化(减少Truncation)
  • [编译器] 增加JIT编译缓存
  • [运行时] 优化算子(零拷贝Pad/Broadcast/TreeReduce/Reshape)
  • [运行时] 增加rsqrt拟合,优化除法拟合算法
  • [MPC] ABY3支持变长BShare类型,内存优化,Loop优化
  • [MPC] ABY3优化MSB协议(带宽优化),增加carryout电路,增加slansky加法器
  • [MPC] Cheetah 矩阵乘法优化(零密文旋转),128bit支持
  • [Infra] 苹果M1芯片支持


2.隐私求交新增实现的PCG-PSI

此次隐语基于[BC22]的PSI最新研究成果,在隐私求交中新增实现的PCG-PSI,是首个实现此方案的隐私计算框架。新方案相比此前计算最优的[KKRT16]方案在计算和通信方面都有很大改进,从成本(monetary cost)角度更能满足大数据量的实际业务要求。[KKRT16]:https://eprint.iacr.org/2016/799

3.自研DP-PSI算法

隐语自研了DP-PSI,可以得到差分隐私保护的交集信息,更好的满足GDPR关于隐私信息发布的相关要求。目前DP-PSI已在隐语SPU中实现。

代码可参见:

https://github.com/secretflow/spu/tree/beta/spu/psi/core/dp_psi

详细资料和代码示例参见:

https://spu.readthedocs.io/en/beta/development/psi.html#run-dp-psi-c-example


联邦学习能力1.数据混合切分场景下的逻辑回归算法

一种典型的数据混合切分场景举例,比如A拥有全量的样本以及部分特征,B/C/D等其他参与方拥有相同特征(与A的特征不同)但是分别持有部分样本。当您遇到混合切分场景时,隐语提供了逻辑回归算法作为建模选项。

2.水平联邦新增策略抽象

隐语新增了水平联邦策略抽象,只需在配置联邦模型时添加一个参数即可使用。隐语内置了多种压缩算法,可以将稀疏化和non-iid动态组合,同时提供了tensorflow以及pytorch两种后端的多种sota策略实现,包含non-iid优化、通信优化等。同时,用户也可以很方便的进行二次开发以尝试新的联邦策略,策略开发完成后只需要一行代码即可在隐语中注册成新的策略。

3.DNN差分隐私保护增强

隐语对水平联邦和拆分学习均增强了差分隐私(Differential Privacy,后面简称DP)保护。对于水平联邦DNN算法,隐语提供了基于RDP(Rényi Differential Privacy )的Global DP能力。对于垂直联邦(拆分学习)DNN算法,新增了Gaussian DP能力,目前支持RDP和Gaussian DP两种差分隐私策略。

文档优化⭐️

在隐语框架正式发布后,隐语开源社区曾针对V0.6版本内容进行功能需求及体验反馈调研。在所有参与调研的有效反馈中,超过6成的开发者曾运行隐语文档提供的实例,开源社区也收到了众多开发者对于隐语文档的功能需求及优化建议,如:“提供中文文档”、“给出更多的样例作参考”、“对现有功能做概念文档补充”等等涉及呈现方式、结构、内容多方面。

感谢所有开发者的耐心细致反馈,此次0.7版本已对部分文档更新需求进行了针对性建设,并将持续完善,帮助广大开发者进一步降低学习成本、提升更加清晰便捷的上手指引,也期待更多开发者在后续的调研中提出更多建议。ps:使用过程中遇到任何问题,都可以在github上提问咨询

👉https://github.com/secretflow/secretflow/issues

除了开源框架更新,隐语开放平台也已发布,提供数据接入、统计分析、模型训练等功能,支持低代码可视化开发模式和开发者编码模式,点击查看详情,申请隐语开放平台体验试用。


相关文章
|
Ubuntu 调度 Docker
2024.3.21隐语训练营第4讲笔记:SecretFlow & SecretNote安装部署
本文介绍了SecretFlow和SecretNote的安装和部署
796 3
|
小程序 JavaScript Android开发
【经验分享】如何在支付宝小程序里玩转富文本功能
【经验分享】如何在支付宝小程序里玩转富文本功能
753 6
|
机器学习/深度学习 算法 安全
FRCNN来袭 | Faster RCNN与FCN永不遗忘,联邦学习+边缘数据既保护隐私也提升性能
FRCNN来袭 | Faster RCNN与FCN永不遗忘,联邦学习+边缘数据既保护隐私也提升性能
790 0
|
消息中间件 SQL JSON
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
最近在做实时采集Kafka发布的内容到MySQL,本文记录一下关键的点,细节不再描述,希望能帮助到大家。
1213 0
FlinkSQL 实时采集Kafka内容到MySQL(实战记录)
|
3月前
|
监控 供应链 数据可视化
深入聊聊MES、ERP、SCM、WMS、APS、SCADA、PLM、QMS的区别与联系
在企业信息化数字化进程中,ERP、MES、SCM、WMS等系统发挥着关键作用。本文详解各系统功能、应用场景及相互关系,帮助企业构建高效协同的数字化管理体系。
|
9月前
|
存储 数据采集 人工智能
AllData数据中台架构全览:数据时代的智慧中枢
杭州奥零数据科技有限公司成立于2023年,专注于数据中台业务,维护开源项目AllData并提供商业版解决方案。AllData提供数据集成、存储、开发、治理及BI展示等一站式服务,支持AI大模型应用,助力企业高效利用数据价值。
AllData数据中台架构全览:数据时代的智慧中枢
|
算法 安全 大数据
隐私计算实训营第5讲-------隐私求交和隐语PSI介绍以及开发实践
隐私求交(Private Set Intersection, PSI)是利用密码学技术在不暴露数据集以外信息的情况下找到两集合的交集。隐语SPU支持三种PSI算法:ECDH(适合小数据集)、KKRT(基于Cuckoo Hashing和OT Extension,适合大数据集)和BC22PCG(使用伪随机相关生成器)。ECDH基于椭圆曲线 Diffie-Hellman,KKRT利用OT Extension实现高效处理,而BC22PCG通过压缩满足特定相关性的随机数减少通信量。此外,还有基于Oblivious Pseudo-Random Function (OPRF)的PSI协议。
1323 0
|
机器学习/深度学习 SQL 人工智能
隐私计算框架“隐语”介绍及展望(附ppt)
隐私计算框架“隐语”介绍及展望(附ppt)
1064 0
|
存储 安全 编译器
缓冲区溢出之栈溢出(Stack Overflow
【8月更文挑战第18天】
592 3
|
JSON 负载均衡 网络协议
gRPC知识归档
gRPC知识归档

热门文章

最新文章