第3讲笔记:详解隐私计算框架及技术要点

简介: 隐语架构是一个分层设计,支持不同技术路线,具有高内聚、低耦合特性,允许各层次的技术人员发挥所长。它包括产品层、算法层和计算层。产品层有SecretPad和SecretNote,提供轻量化安装和全栈产品,支持MPC、TEE等。算法层涉及PSI、PIR协议和SCQL,用于安全数据分析,屏蔽底层复杂性。计算层包含RayFed分布式调度框架和SPU密态计算核心,提供高性能密态计算能力和机器学习算法支持。

一、隐语架构概览
隐语分层架构设计,可以支持不同的技术路线,同时使得层内高内聚,层间低耦合,增强了开放性,不同技术路线的研究人员都可以在对应的层发挥自己的优势。
image.png
二、隐语架构拆解
1、产品层
• SecretPad:轻量化安装, 可以快速体验隐语的功能
• 多部署形态:目前有中心模式,之后会发行P2P模式
• 全栈产品:支持MPC,TEE,SCQL等
• SecretNote:Notebook形式,可以跟踪运行状态,进行交互式建模,以及多节点的管理和交互
2、算法层——高性能,易用的协议模块
• PSI:一种特殊的MPC协议,求两方数据的交集,除此之外不泄露其他信息
• 丰富的协议:半诚实模型(两方/多方);恶意模型
• 性能和协议优化
• 多层入口:白屏用户/开发人员
• PIR:用户查询服务端数据库中的数据,但服务端不知道用户查询的是哪些数据
• 丰富的协议:Sealed PIR;Label PIR...
• 性能和协议优化
• 多层入口:白屏用户/开发人员
• Data Analysis——SCQL
image.png
• 多方安全数据分析系统,可以使互不信任的参与方在保护自己数据隐私的前提下,完成多方数据分析任务
• 屏蔽了底层协议
• 核心特性
• 半诚实安全模型
• 支持≥2的参与方
• 兼容MySQL,支持常用的SQL语法和算子
• 数据使用授权管控
• 支持多种密态协议
• 联邦学习
• 在原始数据不出域的前提下,交换中间数据完成机器学习建模
• 包含水平联邦和垂直联邦(主要是拆分学习,Split Learning)
• 具备安全攻防保障的明密文混合的机器学习算法和框架
• 安全风险度量体系
• 攻防框架
• 攻防算法
• 性能优化
• 包含常见算法
3、计算层
• 混合编译调度-RayFed
• 在Ray基础之上所构建的专注于跨机构的分布式计算调度框架
• 面向跨机构场景
• 密态引擎-SPU(Secure Process Unit)
image.png
• 隐语密态计算核心模块之一
• 桥接上层算法和底层安全协议
• 为用户提供透明的, 高性能的, 基于安全协议的密态计算能力
• 面向机器学习研发人员, 密码协议研发人员, 编译器研发人员
• 核心特性
• 对接主流AI前端
• 支持多种机器学习算法
• 高性能MPC协议虚拟机
• 有丰富的MPC协议, 适配多种场景
• 支持协议扩展
• 多种数据并行, 指令并行优化

相关文章
|
4月前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
105 4
|
4月前
|
机器学习/深度学习 算法 数据可视化
# 隐私计算实训营note#3 详解隐私计算框架及技术要点
这一讲的内容是介绍蚂蚁的SecretFlow框架[第3讲:详解隐私计算框架及技术要点](https://www.bilibili.com/video/BV1dJ4m1b7AX/)。
|
4月前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
4月前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
195 0
|
4月前
构建安全可靠的系统:第十一章到第十五章
构建安全可靠的系统:第十一章到第十五章
202 0
|
4月前
|
SQL 算法 安全
隐私计算实训营 第三讲 详解隐私计算框架及技术要点
隐语架构包括产品、算法、计算、资源和硬件层。产品层关注可视化和模块化API,服务于集成商和研究人员。算法层涉及PSI/PIR、安全数据分析及联邦学习。计算层有混合编译调度、SPU、HEU、TEEU和YACL。资源层采用kuscia,基于K8s的隐私计算框架。硬件层未详述。互通互联提供黑盒和白盒模式,跨域管控实施三权分置、秘态存储和全栈审计。该架构设计便于集成和使用。
60 0
隐私计算实训营 第三讲 详解隐私计算框架及技术要点
|
4月前
|
机器学习/深度学习 安全 数据挖掘
《隐私计算简易速速上手小册》第1章:隐私计算概述(2024 最新版)(下)
《隐私计算简易速速上手小册》第1章:隐私计算概述(2024 最新版)
76 0
|
4月前
|
安全 数据挖掘 数据处理
《隐私计算简易速速上手小册》第1章:隐私计算概述(2024 最新版)(上)
《隐私计算简易速速上手小册》第1章:隐私计算概述(2024 最新版)(上)
61 0
|
4月前
第8讲:隐语SCQL的开发实践丨隐私计算实训营 第1期
SCQL 提供中心化和P2P两种部署架构。中心化依赖第三方的SCDB,各数据方仅需SCQLEngine;P2P模式无第三方,各数据方需SCQLEngine和SCQLBroker。使用流程包括配置、注册、启动和执行查询。P2P部署实践展示详细步骤。[查看部署教程](https://www.secretflow.org.cn/zh-CN/docs/scql/0.5.0b2/intro/p2p-tutorial)。
84 0
|
4月前
|
SQL 安全 数据挖掘
隐私计算实训营第7讲:隐语SCQL的架构详细拆解丨隐私计算实训营 第1期
SCQL是安全协作查询语言,让不信任的多方能在保护隐私的前提下进行联合数据分析。它假设参与者半诚实,支持多方(N>=2)合作,且具备SQL语法支持和性能优化。SCQL提供类似SQL的用户界面,通过CCL机制允许数据所有者控制数据使用权限。系统基于SPU的MPC框架运行,适用于多个应用场景。
117 0