2024.3.20隐语训练营第3讲笔记:详解隐私计算框架及技术要点

简介: 隐语架构是一个分层设计,支持不同技术路线,确保高内聚、低耦合,增强开放性。它包括产品层(如SecretPad和SecretNote)、算法层(如PSI和PIR协议)、计算层(RayFed和SPU)、资源层(KUSCIA)和互联互通及跨域管控机制。该架构旨在提供高性能、易用的隐私计算解决方案,支持MPC、TEE、SCQL等,并允许不同背景的研究人员参与。

一、隐语架构概览

隐语分层架构设计,可以支持不同的技术路线,同时使得层内高内聚,层间低耦合,增强了开放性,不同技术路线的研究人员都可以在对应的层发挥自己的优势。

image.png

image.png

二、隐语架构拆解

1、产品层

  • SecretPad:轻量化安装, 可以快速体验隐语的功能
  • 多部署形态:目前有中心模式,之后会发行P2P模式
  • 全栈产品:支持MPC,TEE,SCQL等
  • SecretNote:Notebook形式,可以跟踪运行状态,进行交互式建模,以及多节点的管理和交互

2、算法层——高性能,易用的协议模块

  • PSI:一种特殊的MPC协议,求两方数据的交集,除此之外不泄露其他信息
  • 丰富的协议:半诚实模型(两方/多方);恶意模型
  • 性能和协议优化
  • 多层入口:白屏用户/开发人员
  • PIR:用户查询服务端数据库中的数据,但服务端不知道用户查询的是哪些数据
  • 丰富的协议:Sealed PIR;Label PIR...
  • 性能和协议优化
  • 多层入口:白屏用户/开发人员
  • Data Analysis——SCQL

image.png

  • 多方安全数据分析系统,可以使互不信任的参与方在保护自己数据隐私的前提下,完成多方数据分析任务
  • 屏蔽了底层协议
  • 核心特性
  • 半诚实安全模型
  • 支持≥2的参与方
  • 兼容MySQL,支持常用的SQL语法和算子
  • 数据使用授权管控
  • 支持多种密态协议
  • 联邦学习
  • 在原始数据不出域的前提下,交换中间数据完成机器学习建模
  • 包含水平联邦和垂直联邦(主要是拆分学习,Split Learning)
  • 具备安全攻防保障的明密文混合的机器学习算法和框架
  • 安全风险度量体系
  • 攻防框架
  • 攻防算法
  • 性能优化
  • 包含常见算法

3、计算层

  • 混合编译调度-RayFed
  • 在Ray基础之上所构建的专注于跨机构的分布式计算调度框架
  • 面向跨机构场景
  • 密态引擎-SPU(Secure Process Unit)

image.png

  • 隐语密态计算核心模块之一
  • 桥接上层算法和底层安全协议
  • 为用户提供透明的, 高性能的, 基于安全协议的密态计算能力
  • 面向机器学习研发人员, 密码协议研发人员, 编译器研发人员
  • 核心特性
  • 对接主流AI前端
  • 支持多种机器学习算法
  • 高性能MPC协议虚拟机
  • 有丰富的MPC协议, 适配多种场景
  • 支持协议扩展
  • 多种数据并行, 指令并行优化
  • HEU

image.png

  • TEEU-可信执行环境单元

支持多种可信执行环境的, 具备数据使用跨域管控能力的密态计算枢纽,可执行数据分析, 机器学习, MPC/FL加速等功能

image.png

  • 密码原语-YACL
  • 多种隐私计算技术路线共同需要的密码库, 具备安全实现保证, 性能高等特点
  • 现状:

image.png

4、资源层-KUSCIA

  • 屏蔽不同机构之间基础设施的差异,为跨机构协作提供丰富可靠的资源管理和任务调度能力
  • 可以运行多种框架
  • KUSCIA架构

image.png

5、互联互通

  • 使隐语和其他厂商互联互通, 共同完成隐私计算任务
  • 模式: 黑盒模式, 白盒模式

image.png

6、跨域管控

  • 数据离开持有者的运维域后, 数据方仍然能够有效的控制数据的流转过程, 避免被窃取或者非预期使用
  • 三权分置

image.png








目录
相关文章
|
Ubuntu 调度 Docker
2024.3.21隐语训练营第4讲笔记:SecretFlow & SecretNote安装部署
本文介绍了SecretFlow和SecretNote的安装和部署
750 3
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
安全 算法 Oracle
「隐语小课」Blazing Fast PSI 协议解读
「隐语小课」Blazing Fast PSI 协议解读
1355 0
|
数据采集 缓存 安全
隐语小课|非平衡隐私集合求交(Unbalanced PSI)协议介绍
隐语小课|非平衡隐私集合求交(Unbalanced PSI)协议介绍
1176 0
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
548 0
|
算法 安全 大数据
隐私计算实训营第5讲-------隐私求交和隐语PSI介绍以及开发实践
隐私求交(Private Set Intersection, PSI)是利用密码学技术在不暴露数据集以外信息的情况下找到两集合的交集。隐语SPU支持三种PSI算法:ECDH(适合小数据集)、KKRT(基于Cuckoo Hashing和OT Extension,适合大数据集)和BC22PCG(使用伪随机相关生成器)。ECDH基于椭圆曲线 Diffie-Hellman,KKRT利用OT Extension实现高效处理,而BC22PCG通过压缩满足特定相关性的随机数减少通信量。此外,还有基于Oblivious Pseudo-Random Function (OPRF)的PSI协议。
1214 0
|
运维 安全 数据安全/隐私保护
隐语(SecretFlow)联邦学习实训营第一期笔记
**摘要:** 本文探讨了数据可信流通的概念,强调了数据来源确认、使用范围界定、流程追溯和风险防范的重要性。数据流通分为内循环(安全域内)和外循环(跨域),其中外循环面临黑客攻击、内部泄露和数据滥用等风险。为建立技术信任,提出了身份验证、利益对齐、能力预期和行为审计四点要求,涉及隐私计算、可信计算等技术。隐语作为隐私计算框架,提供服务以支持数据安全流通,通过开源降低接入门槛,并具备统一架构、原生应用、开放拓展、高性能和多轮安全验证等优势。开源隐语助力解决数据权属和信任问题,促进数据要素的安全流通。
|
机器学习/深度学习 算法 安全
第3讲笔记:详解隐私计算框架及技术要点
隐语架构是一个分层设计,支持不同技术路线,具有高内聚、低耦合特性,允许各层次的技术人员发挥所长。它包括产品层、算法层和计算层。产品层有SecretPad和SecretNote,提供轻量化安装和全栈产品,支持MPC、TEE等。算法层涉及PSI、PIR协议和SCQL,用于安全数据分析,屏蔽底层复杂性。计算层包含RayFed分布式调度框架和SPU密态计算核心,提供高性能密态计算能力和机器学习算法支持。
457 1
|
机器学习/深度学习 SQL 人工智能
隐私计算框架“隐语”介绍及展望(附ppt)
隐私计算框架“隐语”介绍及展望(附ppt)
1012 0
|
Ubuntu Linux Docker
课4-隐语SecretFlow、SecretNote安装部署
SecretFlow是支持Python 3.8及以上版本的隐私计算框架,兼容CentOS 7、Anolis8、Ubuntu 18.04等等。它提供两种安装包:所有需求的大体积`secretflow`和仅含基础功能的小体积`secretflow-lite`。用户可通过Docker、pip或源码安装。安装后,可使用Docker镜像在本地部署,并通过Ray进行集群仿真。更多详细信息和部署指南可在官方手册中找到。此外,SecretFlow还提供了类似Jupyter Notebook的SecretNote工具,实现多节点代码自动执行和跟踪。