2024.3.20隐语训练营第3讲笔记:详解隐私计算框架及技术要点

简介: 隐语架构是一个分层设计,支持不同技术路线,确保高内聚、低耦合,增强开放性。它包括产品层(如SecretPad和SecretNote)、算法层(如PSI和PIR协议)、计算层(RayFed和SPU)、资源层(KUSCIA)和互联互通及跨域管控机制。该架构旨在提供高性能、易用的隐私计算解决方案,支持MPC、TEE、SCQL等,并允许不同背景的研究人员参与。

一、隐语架构概览

隐语分层架构设计,可以支持不同的技术路线,同时使得层内高内聚,层间低耦合,增强了开放性,不同技术路线的研究人员都可以在对应的层发挥自己的优势。

image.png

image.png

二、隐语架构拆解

1、产品层

  • SecretPad:轻量化安装, 可以快速体验隐语的功能
  • 多部署形态:目前有中心模式,之后会发行P2P模式
  • 全栈产品:支持MPC,TEE,SCQL等
  • SecretNote:Notebook形式,可以跟踪运行状态,进行交互式建模,以及多节点的管理和交互

2、算法层——高性能,易用的协议模块

  • PSI:一种特殊的MPC协议,求两方数据的交集,除此之外不泄露其他信息
  • 丰富的协议:半诚实模型(两方/多方);恶意模型
  • 性能和协议优化
  • 多层入口:白屏用户/开发人员
  • PIR:用户查询服务端数据库中的数据,但服务端不知道用户查询的是哪些数据
  • 丰富的协议:Sealed PIR;Label PIR...
  • 性能和协议优化
  • 多层入口:白屏用户/开发人员
  • Data Analysis——SCQL

image.png

  • 多方安全数据分析系统,可以使互不信任的参与方在保护自己数据隐私的前提下,完成多方数据分析任务
  • 屏蔽了底层协议
  • 核心特性
  • 半诚实安全模型
  • 支持≥2的参与方
  • 兼容MySQL,支持常用的SQL语法和算子
  • 数据使用授权管控
  • 支持多种密态协议
  • 联邦学习
  • 在原始数据不出域的前提下,交换中间数据完成机器学习建模
  • 包含水平联邦和垂直联邦(主要是拆分学习,Split Learning)
  • 具备安全攻防保障的明密文混合的机器学习算法和框架
  • 安全风险度量体系
  • 攻防框架
  • 攻防算法
  • 性能优化
  • 包含常见算法

3、计算层

  • 混合编译调度-RayFed
  • 在Ray基础之上所构建的专注于跨机构的分布式计算调度框架
  • 面向跨机构场景
  • 密态引擎-SPU(Secure Process Unit)

image.png

  • 隐语密态计算核心模块之一
  • 桥接上层算法和底层安全协议
  • 为用户提供透明的, 高性能的, 基于安全协议的密态计算能力
  • 面向机器学习研发人员, 密码协议研发人员, 编译器研发人员
  • 核心特性
  • 对接主流AI前端
  • 支持多种机器学习算法
  • 高性能MPC协议虚拟机
  • 有丰富的MPC协议, 适配多种场景
  • 支持协议扩展
  • 多种数据并行, 指令并行优化
  • HEU

image.png

  • TEEU-可信执行环境单元

支持多种可信执行环境的, 具备数据使用跨域管控能力的密态计算枢纽,可执行数据分析, 机器学习, MPC/FL加速等功能

image.png

  • 密码原语-YACL
  • 多种隐私计算技术路线共同需要的密码库, 具备安全实现保证, 性能高等特点
  • 现状:

image.png

4、资源层-KUSCIA

  • 屏蔽不同机构之间基础设施的差异,为跨机构协作提供丰富可靠的资源管理和任务调度能力
  • 可以运行多种框架
  • KUSCIA架构

image.png

5、互联互通

  • 使隐语和其他厂商互联互通, 共同完成隐私计算任务
  • 模式: 黑盒模式, 白盒模式

image.png

6、跨域管控

  • 数据离开持有者的运维域后, 数据方仍然能够有效的控制数据的流转过程, 避免被窃取或者非预期使用
  • 三权分置

image.png








目录
相关文章
|
6月前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
117 4
|
6月前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
6月前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
215 0
|
5月前
|
机器学习/深度学习 算法 安全
第3讲笔记:详解隐私计算框架及技术要点
隐语架构是一个分层设计,支持不同技术路线,具有高内聚、低耦合特性,允许各层次的技术人员发挥所长。它包括产品层、算法层和计算层。产品层有SecretPad和SecretNote,提供轻量化安装和全栈产品,支持MPC、TEE等。算法层涉及PSI、PIR协议和SCQL,用于安全数据分析,屏蔽底层复杂性。计算层包含RayFed分布式调度框架和SPU密态计算核心,提供高性能密态计算能力和机器学习算法支持。
207 1
|
6月前
|
安全 算法 数据挖掘
《隐私计算简易速速上手小册》第4章:技术挑战与解决方案(2024 最新版)
《隐私计算简易速速上手小册》第4章:技术挑战与解决方案(2024 最新版)
93 1
|
6月前
|
API 数据库
课6-匿踪查询和隐语PIR的介绍及开发实践
隐匿查询(PIR)允许用户从服务器检索数据而不暴露查询内容。类型包括单服务器与多服务器方案,以及Index PIR和Keyword PIR。隐语支持SealPIR用于单服务器Index PIR,压缩查询并支持多维和多查询处理。另外,它采用Labeled PSI实现单服务器Keyword PIR,优化了计算和通信效率,基于微软代码并扩展了功能,如OPRF、特定ECC曲线支持和预处理结果保存。隐语提供的PIR相关API包括`spu.pir_setup`和`spu.pir_query`。
课6-匿踪查询和隐语PIR的介绍及开发实践
|
6月前
|
数据安全/隐私保护
课5-隐私求交和隐语PSI介绍及开发实践
Alice和Bob分别创建了CSV文件`alice_psi_input.csv`和`bob_psi_input.csv`,包含姓名和年龄数据。他们使用SecretFlow库执行隐私保护集合求交(PSI)协议,版本v1和v2,通过ECDH_PSI_2PC或PROTOCOL_ECDH协议,不泄露原始数据。在PSI过程中,双方找出共享的姓名,结果发送给Alice。
|
6月前
|
运维 安全
隐语学习笔记
隐语学习笔记
39 1
|
6月前
|
运维 安全 数据安全/隐私保护
|
6月前
第8讲:隐语SCQL的开发实践丨隐私计算实训营 第1期
SCQL 提供中心化和P2P两种部署架构。中心化依赖第三方的SCDB,各数据方仅需SCQLEngine;P2P模式无第三方,各数据方需SCQLEngine和SCQLBroker。使用流程包括配置、注册、启动和执行查询。P2P部署实践展示详细步骤。[查看部署教程](https://www.secretflow.org.cn/zh-CN/docs/scql/0.5.0b2/intro/p2p-tutorial)。
102 0