隐私计算实训营 第1期 - 第5讲:隐语PSI介绍及开发实践

简介: 在本文档中,介绍了如何在两个虚拟机上安装和配置SecretFlow和SecretNote。首先,环境配置包括一台运行CentOS 7.9的虚拟机(Alice节点)和一台运行Rocky Linux 9.3的虚拟机(Bob节点),均为8核16GB内存。之后,文档展示了如何在SecretNote中上传数据并创建Notebook执行PSI(Private Set Intersection)任务。过程中需要注意Ray版本兼容性问题,以及最终成功执行后的结果展示。

一、安装SecretFlow和SecretNote(生产环境)

1.1 环境介绍

准备了两台虚拟机,配置如下:

IP OS 配置 备注
192.168.230.30 CentOS Linux release 7.9.2009 (Core) 8C16GB 用作Alice节点
192.168.230.50 Rocky Linux release 9.3 (Blue Onyx) 8C16GB 用作Bob节点


1.2 安装SecretFlow(全部节点)

1.2.1 用conda创建虚拟环境

conda create -n sf python=3.10
conda activate sf



如果conda已经创建了sf,则需要先删除。

conda remove --name sf --all


1.2.2 使用pip安装SecretFlow

pip install -U secretflow-lite -i https://mirrors.aliyun.com/pypi/simple

安装过程会耗时5分钟左右,国内为了提高速度,一定需要指定国内源,这里选择的是阿里云的源。

1.3 安装SecretNote全部节点

1.3.1 安装SecretNote

pip install -U secretnote -i https://mirrors.aliyun.com/pypi/simple


1.3.2 启动SecretNote

secretnote --ServerApp.port 8889 --allow-root

1.4 环境检查(全部节点)

1.4.1 检查安装的软件包

(sf) [root@RockyLinux93 ~]# conda list

python                    3.10.14              h955ad1f_0  
secretflow-lite           1.5.0.dev20240321          pypi_0    pypi
secretflow-ray            2.2.0                    pypi_0    pypi
secretflow-rayfed         0.2.1a1                  pypi_0    pypi
secretflow-serving-lib    0.2.0.dev20240311          pypi_0    pypi
secretnote                0.0.4                    pypi_0    pypi

1.4.2 检查SecretNote启动情况

输入地址:http://192.168.230.30:8889/secretnote/secretflow

image.png


2. 在SecretNote中添加节点

任意选择一个SecretNote服务,通过Web登陆进入(这里选择的是Alice),配置后如下:

image.png

image.png


3、PSI任务

3.1 上传数据

image.png


3.2 创建notebook,并编写代码

PSI.ipynb


1、初始化Bob和Alice配置参数不同,但是需要同步执行;

2、SecretFlow的端口和SPU端口需要不一样;

3、Ray需要2.9.1版本,如下错误忽略。

secretnote 0.0.4 requires ray[default]~=2.6.3, but you have ray 2.9.1 which is incompatible.

secretflow-lite 1.5.0.dev20240321 requires ray==2.9.1, but you have ray 2.6.3 which is incompatible.

3.3 结果

image.png



相关文章
|
5月前
|
算法 数据挖掘 调度
隐语实训营-第3讲:详解隐私计算框架的架构和技术要点
主要介绍隐语的隐私计算架构,并对每个模块进行拆解、分析,以期望不同使用者找到适合自己的模块,快速入手。
111 4
|
5月前
|
机器学习/深度学习 算法 数据可视化
# 隐私计算实训营note#3 详解隐私计算框架及技术要点
这一讲的内容是介绍蚂蚁的SecretFlow框架[第3讲:详解隐私计算框架及技术要点](https://www.bilibili.com/video/BV1dJ4m1b7AX/)。
|
5月前
|
机器学习/深度学习 算法 安全
隐私计算训练营第三讲-详解隐私计算的架构和技术要点
SecretFlow 是一个隐私保护的统一框架,用于数据分析和机器学习,支持MPC、HE、TEE等隐私计算技术。它提供设备抽象、计算图表示和基于图的ML/DL能力,适应数据水平、垂直和混合分割场景。产品层包括SecretPad(快速体验核心能力)和SecretNote(开发工具)。算法层涉及PSI、PIR、数据分析和联邦学习(水平、垂直、混合)。此外,SecretFlow还有YACL密码库和Kusica任务调度框架,Kusica提供轻量化部署、跨域通信和统一API接口。
208 0
|
5月前
|
算法 安全 大数据
隐私计算实训营第5讲-------隐私求交和隐语PSI介绍以及开发实践
隐私求交(Private Set Intersection, PSI)是利用密码学技术在不暴露数据集以外信息的情况下找到两集合的交集。隐语SPU支持三种PSI算法:ECDH(适合小数据集)、KKRT(基于Cuckoo Hashing和OT Extension,适合大数据集)和BC22PCG(使用伪随机相关生成器)。ECDH基于椭圆曲线 Diffie-Hellman,KKRT利用OT Extension实现高效处理,而BC22PCG通过压缩满足特定相关性的随机数减少通信量。此外,还有基于Oblivious Pseudo-Random Function (OPRF)的PSI协议。
461 0
|
5月前
|
监控 安全 数据可视化
第9讲:隐语多方安全计算在安全核对的行业实践丨隐私计算实训营 第1期
行业法规趋势强调数据安全与隐私保护,如《个人信息安全规范》、《数据安全法》和《个人信息保护法》,倡导最小权限原则和数据的有效利用。产品方案致力于在保障安全和隐私的前提下促进数据共享。技术共建中,与隐语合作构建安全自证能力,包括可审查性、可视化监控和可攻防的验证机制,确保数据操作透明且安全。
63 1
|
5月前
|
数据安全/隐私保护
课5-隐私求交和隐语PSI介绍及开发实践
Alice和Bob分别创建了CSV文件`alice_psi_input.csv`和`bob_psi_input.csv`,包含姓名和年龄数据。他们使用SecretFlow库执行隐私保护集合求交(PSI)协议,版本v1和v2,通过ECDH_PSI_2PC或PROTOCOL_ECDH协议,不泄露原始数据。在PSI过程中,双方找出共享的姓名,结果发送给Alice。
|
5月前
|
算法 数据库
隐私计算实训营第6讲-------隐语PIR介绍及开发实践丨隐私计算实训营 第1期
隐匿查询(PIR)允许用户在不暴露查询内容的情况下检索服务器数据库。PIR分为单服务器和多服务器方案,以及Index PIR和Keyword PIR两类。隐语目前实现了单服务器的SealPIR(用于Index PIR)和Labeled PSI(用于Keyword PIR)。SealPIR优化点包括:数据打包、查询向量压缩、支持多维和多个查询。未来,隐语PIR的计划包括性能提升、多服务器方案和新算法的探索。
318 3
|
5月前
|
SQL 算法 安全
隐私计算实训营 第三讲 详解隐私计算框架及技术要点
隐语架构包括产品、算法、计算、资源和硬件层。产品层关注可视化和模块化API,服务于集成商和研究人员。算法层涉及PSI/PIR、安全数据分析及联邦学习。计算层有混合编译调度、SPU、HEU、TEEU和YACL。资源层采用kuscia,基于K8s的隐私计算框架。硬件层未详述。互通互联提供黑盒和白盒模式,跨域管控实施三权分置、秘态存储和全栈审计。该架构设计便于集成和使用。
67 0
隐私计算实训营 第三讲 详解隐私计算框架及技术要点
|
5月前
|
机器学习/深度学习 运维 安全
隐私计算实训营 第1期 【第1讲】
隐私计算实训营 第1期 【第1讲】—— 导论 | 数据可信流通 从运维信任到技术信任
137 3
|
5月前
|
运维 安全 数据安全/隐私保护