隐私计算实训营 第三讲 详解隐私计算框架及技术要点

简介: 隐语架构包括产品、算法、计算、资源和硬件层。产品层关注可视化和模块化API,服务于集成商和研究人员。算法层涉及PSI/PIR、安全数据分析及联邦学习。计算层有混合编译调度、SPU、HEU、TEEU和YACL。资源层采用kuscia,基于K8s的隐私计算框架。硬件层未详述。互通互联提供黑盒和白盒模式,跨域管控实施三权分置、秘态存储和全栈审计。该架构设计便于集成和使用。

隐语架构一览

截屏2024-03-21 15.52.35.png

隐语架构拆解

隐语平台自上而下分为产品层、算法层、计算层、资源层、硬件层。

  1. 产品层
    隐语产品定位为通过可视化产品,降低终端用户的体验和演示成本。通过模块化API降低技术集成商的研发成本。产品的人群画像为隐私计算集成商、隐私计算需求方、产品、开发以及研究人员等。
    截屏2024-03-21 16.02.19.png

  2. 算法层

  • PSI/PIR

    1. PSI(Private Set Intesection)一种特殊的安全多方计算(MPC)协议。
      • Alice持有集合 X,Bob持有集合Y
      • Alice和Bob通过执行PSI协议,得到交集结果X ∩ Y
      • 除交集外不会泄漏交集外的其它信息
    2. PIR(Private Information Retrieval)用户查询服务端数据库中的数据,但服务端不知道用户查询的是哪些数据。
  • Data Analysis
    Secure Collaborative Query Language.一种多方安全数据分析系统,可以让互不信任的参与方在保护自己数据隐私的前提下,完成多方数据分析任务.
    核心特性

    • 半诚实安全模型
    • 支持多方 (N>=2)
    • 易上手,提供 MySQL 兼容的 SQL 方言用户界面
    • 支持常用的 SQL 语法和算子,满足大部分场景的需求
    • 可实用的性能
    • 提供列级别的数据使用授权控制(CCL)
    • 支持多种密态协议(SEMI2K/CHEETAH/ABY3)
    • 内置支持多种数据源接入(MySQL,Postgres, CSV 等)
  • Federated learning
    在原始数据不出域的前提下,通过交换中间数据完成机器学习建模。包含水平联邦和垂直联邦(主要是拆分学习,Split Learning)
  1. 计算层
    • 混合编译调度 在Ray基础之上所构建的专注于跨机构的分布式计算调度框架。https://github.com/ray-project/rayfed (已成为ray的孵化项目)
    • SPU Secure Process Unit
      核心特性:
      1. 原生对接主流AI前端
      2. 支持丰富的机器学习算法
      3. 带隐私保护语义的中间表示语言
      4. 基于MLIR的加密计算编译优化
      5. 高性能MPC协议虚拟机
      6. 多种数据并行,指令并行优化
      7. 丰富的MPC协议,适配各种场景
      8. 支持协议扩展,支持异构设备接入
    • HEU Homomorphic Encryption Unit
    • TEEU Trusted Enextution Environment Unit
    • YACL Yet Another Common Crypto Library
  2. 资源层
    • kuscia KUbernetes based Secure Collaborative InfrA。基于 K8s 的隐私计算任务编排框架
  3. 硬件层
  4. 互通互联
    • 黑盒模式 又称管理调度互联。管理面、控制面实现互联互通。两边加载相同的算法容器
    • 白盒模式 又称基于开放算法协议的互联。算法引擎层面可以直接互联
  5. 跨域管控
    • 三权分置
    • 秘态存储
    • 全栈审计

      结语

      清晰分层,灵活集成,简单易用
目录
相关文章
|
6月前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
117 4
|
6月前
|
机器学习/深度学习 算法 数据可视化
# 隐私计算实训营note#3 详解隐私计算框架及技术要点
这一讲的内容是介绍蚂蚁的SecretFlow框架[第3讲:详解隐私计算框架及技术要点](https://www.bilibili.com/video/BV1dJ4m1b7AX/)。
|
6月前
|
分布式计算 算法 调度
课3-详解隐私计算框架的架构和技术要点
隐语架构涵盖产品、算法、计算、资源和硬件五层,旨在实现互联互通和跨域管控。产品层包括SecretPad等,简化用户和集成商体验。算法层涉及PSI/PIR、SCQL和联邦学习,提供隐私保护的数据分析和学习。计算层如RayFed、SPU、HEU等,支持分布式计算和密态处理。资源层的KUSCIA用于跨机构任务编排,硬件层涉及FPGA等加速器。互联互通支持黑盒和白盒模式,确保不同平台协作。跨域管控则强调数据流转控制,保护数据权益。
|
6月前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
219 0
|
5月前
|
机器学习/深度学习 算法 安全
第3讲笔记:详解隐私计算框架及技术要点
隐语架构是一个分层设计,支持不同技术路线,具有高内聚、低耦合特性,允许各层次的技术人员发挥所长。它包括产品层、算法层和计算层。产品层有SecretPad和SecretNote,提供轻量化安装和全栈产品,支持MPC、TEE等。算法层涉及PSI、PIR协议和SCQL,用于安全数据分析,屏蔽底层复杂性。计算层包含RayFed分布式调度框架和SPU密态计算核心,提供高性能密态计算能力和机器学习算法支持。
210 1
|
6月前
|
监控 安全 数据可视化
第9讲:隐语多方安全计算在安全核对的行业实践丨隐私计算实训营 第1期
行业法规趋势强调数据安全与隐私保护,如《个人信息安全规范》、《数据安全法》和《个人信息保护法》,倡导最小权限原则和数据的有效利用。产品方案致力于在保障安全和隐私的前提下促进数据共享。技术共建中,与隐语合作构建安全自证能力,包括可审查性、可视化监控和可攻防的验证机制,确保数据操作透明且安全。
67 1
|
6月前
|
算法 数据库
隐私计算实训营第6讲-------隐语PIR介绍及开发实践丨隐私计算实训营 第1期
隐匿查询(PIR)允许用户在不暴露查询内容的情况下检索服务器数据库。PIR分为单服务器和多服务器方案,以及Index PIR和Keyword PIR两类。隐语目前实现了单服务器的SealPIR(用于Index PIR)和Labeled PSI(用于Keyword PIR)。SealPIR优化点包括:数据打包、查询向量压缩、支持多维和多个查询。未来,隐语PIR的计划包括性能提升、多服务器方案和新算法的探索。
336 3
|
6月前
|
机器学习/深度学习 运维 安全
隐私计算实训营 第1期 【第1讲】
隐私计算实训营 第1期 【第1讲】—— 导论 | 数据可信流通 从运维信任到技术信任
142 3
|
6月前
|
SQL 安全 数据挖掘
隐私计算实训营第7讲:隐语SCQL的架构详细拆解丨隐私计算实训营 第1期
SCQL是安全协作查询语言,让不信任的多方能在保护隐私的前提下进行联合数据分析。它假设参与者半诚实,支持多方(N>=2)合作,且具备SQL语法支持和性能优化。SCQL提供类似SQL的用户界面,通过CCL机制允许数据所有者控制数据使用权限。系统基于SPU的MPC框架运行,适用于多个应用场景。
140 0
|
6月前
第8讲:隐语SCQL的开发实践丨隐私计算实训营 第1期
SCQL 提供中心化和P2P两种部署架构。中心化依赖第三方的SCDB,各数据方仅需SCQLEngine;P2P模式无第三方,各数据方需SCQLEngine和SCQLBroker。使用流程包括配置、注册、启动和执行查询。P2P部署实践展示详细步骤。[查看部署教程](https://www.secretflow.org.cn/zh-CN/docs/scql/0.5.0b2/intro/p2p-tutorial)。
104 0