隐私计算训练营第三讲-详解隐私计算的架构和技术要点

简介: SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。

隐语简介

隐语的SecretFlow 是一个隐私保护数据分析和机器学习的统一框架。

SecretFlow 提供

  • 设备抽象,将多方安全计算(MPC)、同态加密(HE)、可信执行环境(TEE)等隐私计算技术抽象为密文设备,将明文计算抽象为明文设备。
  • 基于抽象设备的计算图,使数据分析和机器学习工作流程能够表示为计算图。
  • 基于计算图的机器学习/数据分析能力,支持数据水平/垂直/混合分割等场景。

1DBAB8E5-CA52-47e0-8A31-87C46988E8A3.png

隐语架构

隐语的架构图如下:

2.png

产品层

隐语的产品层包含SecretPad SecretNote两种。

SecretPad 是隐语平台部署包,可快速帮助用户体验隐语核心能力。在部署安装包的时候,可选择不同的部署模式,如部署成P2P的模式(无需可信第三方,无Center平台)或者中心化的模式(有Center平台)

中心化模式下,体验版内置Alice和Bob两个节点,配置相应数据,用户可直接进行模型训练;用户也可以自己添加数据表,上传自有数据进行模型训练,数据均在本地保存,无需联网即可体验。

SecretNote是隐语提供的开发工具,使得开发者可以以notebook的形式在SecretNote上进行开发,可以实现交互式建模,同时可以实现多节点一站式管理与交互,并且能够对任务的运行状态进行跟踪。

算法层

隐语在算法层提供PSI、PIR、Data AnalysisFederated Learning登多种算法。

隐私求交(Private Set Intersection)是一种使用密码学方法,获取两份数据内容的交集的算法。PSI过程中不泄露任务交集以外的信息。

在隐语中,SPU设备支持三种隐私求交算法:

  • ECDH:半诚实模型, 基于公钥密码学,适用于小数据集。
  • KKRT:半诚实模型, 基于布谷鸟哈希(Cuckoo Hashing)以及高效不经意传输扩展(OT Extension),适用于大数据集。
  • BC22PCG:半诚实模型, 基于随机相关函数生成器。

隐语在数据分析方面提供了SCQL功能,安全协作查询语言(Secure Collaborative Query Language, SCQL)是一个允许多个互不信任参与方在不泄露各自隐私数据的条件下进行联合数据分析的系统。

关键特点

  • 半诚实安全。SCQL 假设所有参与方都是半诚实的。
  • 支持多方(N>=2)。
  • 支持常见的 SQL select 语法和函数,满足大多数场景的需求。详情请查看 SCQL 实现进度
  • 可实用的性能。SCQL 有多层次的性能优化。
  • 易于使用。SCQL提供了类似于关系 SQL 的界面。
  • 数据使用授权。SCQL 为数据所有者提供了一个名为 CCL(Column Control List, 列控制列表)的机制,以定义他们的数据使用限制。

联邦学习是一种机器学习范式,其核心思想为多个参与方在数据不出域的前提下共同完成机器学习训练。隐语支持以下几种联邦学习

设备

隐语的设备分为物理设备和逻辑设备,其中,物理设备是隐私计算各个参与方的物理机器,逻辑设备则由一个或多个物理设备构成。逻辑设备支持一组 特定的计算算子(Device Ops),有自己特定的数据表示(Device Object)。逻辑设备分为明文和密文两种类型,前者执行单方本地计算,后者执行 多方参与的隐私计算。

逻辑设备的运行时负责内存管理、数据传输、算子调度等职责,运行在一个或多个物理设备上。逻辑设备和物理设备不是一对一的关系,一个物理设备可能同时属于多个逻辑设备。在同一组物理设备上,可以根据不同的隐私协议和参与组合虚拟出不同的逻辑设备。

隐语设备.png

除此之外隐语还提供YACL密码库和kusica任务编排调度框架

Kuscia

Kuscia(Kubernetes-based Secure Collaborative InfrA)是一款基于 K3s 的轻量级隐私计算任务编排框架,旨在屏蔽异构基础设施和协议,并提供统一的隐私计算底座。通过 Kuscia:

  • 轻量化部署:您可以用最低 1C2G 的资源完成 100W 级数据隐私求交(PSI)。
  • 跨域网络安全通信:您可以实现多隐私计算任务并发执行时的端口复用(仅需一个公网端口)与安全通信。
  • 统一的 API 接口:您可以使用 HTTP/GRPC API 接口集成隐私计算能力。
  • 互联互通:你可以与行业内多种隐私计算系统进行互联互通。

隐语架构总结.png

相关文章
|
2月前
|
算法 物联网 定位技术
蓝牙室内定位技术解决方案:核心技术架构与优化实践
本文探讨了蓝牙iBeacon与Lora结合的室内定位技术,分析其在复杂室内环境中的优势与挑战。通过三层架构实现高精度定位,并提出硬件、算法与部署优化方向,助力智慧仓储、医疗等场景智能化升级。
168 0
蓝牙室内定位技术解决方案:核心技术架构与优化实践
|
1月前
|
机器学习/深度学习 存储 人工智能
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
本文将深入分析这两种编码架构的技术原理、数学基础、实现流程以及各自的优势与局限性,并探讨混合架构的应用策略。
145 10
RAG系统文本检索优化:Cross-Encoder与Bi-Encoder架构技术对比与选择指南
|
15天前
|
JSON 供应链 监控
1688商品详情API技术深度解析:从接口架构到数据融合实战
1688商品详情API(item_get接口)可通过商品ID获取标题、价格、库存、SKU等核心数据,适用于价格监控、供应链管理等场景。支持JSON格式返回,需企业认证。Python示例展示如何调用接口获取商品信息。
|
18天前
|
数据可视化 前端开发 数据管理
什么是低代码?一文看懂:低代码技术的发展历程及技术架构
低代码开发平台通过可视化界面与组件化设计,大幅降低编程门槛,使开发者无需大量编码即可快速构建应用。它具备可视化开发、预制组件、低技术门槛及全流程支持等核心特征,适用于业务流程自动化、数据管理、客户关系管理等多种场景。自萌芽期至今,低代码不断演进,成为企业数字化转型的重要工具,显著提升开发效率、降低成本,并推动全民开发者时代的到来。
181 0
什么是低代码?一文看懂:低代码技术的发展历程及技术架构
|
1月前
|
机器学习/深度学习 人工智能 Java
Java 技术支撑下 AI 与 ML 技术融合的架构设计与落地案例分析
摘要: Java与AI/ML技术的融合为智能化应用提供了强大支持。通过选用Deeplearning4j、DJL等框架解决技术适配问题,并结合Spring生态和JVM优化提升性能。在金融风控、智能制造、医疗影像等领域实现了显著效果,如审批效率提升3倍、设备停机减少41%、医疗诊断延迟降低80%。这种技术融合推动了多行业的智能化升级,展现了广阔的应用前景。
129 0
|
2月前
|
缓存 人工智能 监控
1688 平台商品详情接口技术揭秘:架构演进与实战优化
本文深入解析了1688商品详情接口的技术架构与核心实现,涵盖微服务拆分、多级缓存、数据聚合及高可用策略,展示了如何构建高性能电商接口系统,并展望AI技术在商品展示中的应用。
|
2月前
|
缓存 监控 数据安全/隐私保护
京东平台商品详情接口技术解密:高性能架构与实战经验
本文深入解析京东商品详情接口技术架构,涵盖微服务设计、多级缓存、异步加载及数据一致性保障等关键策略,分享高并发场景下的性能优化实践,助力电商系统稳定高效运行。
|
2月前
|
人工智能 数据可视化 Java
什么是低代码(Low-Code)?低代码核心架构技术解析与应用展望
低代码开发正成为企业应对业务增长与IT人才短缺的重要解决方案。相比传统开发方式效率提升60%,预计2026年市场规模达580亿美元。它通过可视化界面与少量代码,让非专业开发者也能快速构建应用,推动企业数字化转型。随着AI技术发展,低代码与AIGC结合,正迈向智能化开发新时代。