2024.3.21隐语训练营第4讲笔记:SecretFlow & SecretNote安装部署

简介: 本文介绍了SecretFlow和SecretNote的安装和部署

一、SecretFlow安装

1、 安装部署要求

image.png

2、SecretFlow的安装方式有三种,本文是通过pypi方式安装的,但在由于我的电脑是Windows系统,所以安装了Ubuntu的虚拟机,并在虚拟机上安装了Anaconda,之后才安装的SecretFlow,具体的在虚拟机上安装Anaconda教程见链接

3、打开Ubuntu虚拟机的terminal,使用annaconda的conda命令创建虚拟环境,我的环境名为secretflow。

安装注意事项:

  • 在安装虚拟机时,一定要提前给足较大的硬盘容量(我第一次只给了40G,后来不够用又扩到70G)
  • 创建虚拟环境时Python的版本要选3.8,否则在安装SecretFlow时可能会出错。
  • 安装过程中不要断网
conda create -n secretflow python=3.8  //创建虚拟环境
source activate secretflow  //进入虚拟环境
pip install -U secretflow   //安装secretflow

image.png image.png

image.png

二、SecretFlow部署模式

1、类型:包括仿真模式和生产模式

image.png

2、Ray是一个分布式的计算框架

image.png

3、仿真模式

a.单机仿真(单个节点模拟Alice、bob两个参与方)

import secretflow as sf     //导入secretflow模块
sf.init(parties=['alice','bob'],address='local')  //parties表示参与方,address='local'表示启动一个本地的Ray节点
alice=sf.PYU('alice')       //创建两个名为alice和bob的明文计算设备(PYU)
bob=sf.PYU('bob')
alice(lambda x:x+1)(2)      
bob(lambda x:x-1)(2)

b.集群仿真(部署两个节点,分别模拟Alice、bob两个参与方)

image.png image.png

注:--node-ip-address中要替换成实际的IP和端口;resources表示把该节点标识为alice,16指明了Alice有16个计算资源,方便Ray进行调度;Ray主节点的通信地址就是主节点的IP和端口号

image.png image.png

注:SPU中的通信地址和Ray中的是不一样的,SPU是单独进行通信的,端口号跟之前不能冲突

image.png

4、生产模式 (部署两个节点,分别模拟Alice、bob两个参与方)

image.png

image.png image.png

image.png image.png

注:cliuster_config中的address要填一个新的端口

image.png

image.png

其中双方Proxy模块中的通信地址就是cliuster_config中的通信地址

使用KUSCIA解决多端口问题:统一不同机构的网络基础设施

docker模式运行SecretFlow集群,建议使用host网络,如果不能使用,最好在以恶搞机器上运行多个docker容器

三、SecretNote安装

1、SecretNote不适合用于生产

2、SecreetNote可以在一个页面上执行多方代码,多节点代码自动执行,所见即所得

image.png image.png

image.png













目录
相关文章
|
机器学习/深度学习 人工智能 自然语言处理
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
1118 0
撒花!PyTorch 官方教程中文版正式上线,激动人心的大好事!
|
2月前
|
存储 Linux 持续交付
史上最全 Terraform 入门教程,助你无坑入门!
【10月更文挑战第26天】这是一个全面的 Terraform 入门教程,涵盖了 Terraform 的基本概念、安装步骤、基础配置、变量和输出变量的使用、模块的定义与使用,以及状态管理。通过实例讲解如何创建本地文件资源和 AWS S3 桶,帮助初学者快速上手并掌握 Terraform 的核心功能。
104 8
|
5月前
|
运维 安全 数据安全/隐私保护
隐语(SecretFlow)联邦学习实训营第一期笔记
**摘要:** 本文探讨了数据可信流通的概念,强调了数据来源确认、使用范围界定、流程追溯和风险防范的重要性。数据流通分为内循环(安全域内)和外循环(跨域),其中外循环面临黑客攻击、内部泄露和数据滥用等风险。为建立技术信任,提出了身份验证、利益对齐、能力预期和行为审计四点要求,涉及隐私计算、可信计算等技术。隐语作为隐私计算框架,提供服务以支持数据安全流通,通过开源降低接入门槛,并具备统一架构、原生应用、开放拓展、高性能和多轮安全验证等优势。开源隐语助力解决数据权属和信任问题,促进数据要素的安全流通。
|
6月前
|
Ubuntu 数据可视化 Docker
第4讲笔记:SecretFlow & SecretNote安装部署
安装SecretFlow需在Ubuntu虚拟机上用Anaconda创建Python 3.8环境,名称为secretflow,然后在环境中运行`conda create -n secretflow python=3.8`,`source activate secretflow`和`pip install -U secretflow`。SecretFlow部署可选仿真或生产模式。仿真模式包括单机(模拟Alice、Bob)和集群仿真,生产模式涉及多节点部署,注意各节点间的通信配置。SecretNote适合多节点代码的可视化执行,但不适用于生产环境。
118 1
|
7月前
|
Ubuntu Linux Docker
课4-隐语SecretFlow、SecretNote安装部署
SecretFlow是支持Python 3.8及以上版本的隐私计算框架,兼容CentOS 7、Anolis8、Ubuntu 18.04等等。它提供两种安装包:所有需求的大体积`secretflow`和仅含基础功能的小体积`secretflow-lite`。用户可通过Docker、pip或源码安装。安装后,可使用Docker镜像在本地部署,并通过Ray进行集群仿真。更多详细信息和部署指南可在官方手册中找到。此外,SecretFlow还提供了类似Jupyter Notebook的SecretNote工具,实现多节点代码自动执行和跟踪。
|
7月前
|
数据可视化 Docker 容器
隐语实训营-第4讲:SecretFlow和SecretNote的安装
介绍secretflow及其可视化工具secretfNote的安装,课程链接:https://www.bilibili.com/video/BV161421S7xY/?spm_id_from=333.999.0.0 下:https://www.bilibili.com/video/BV12r421t77V/?spm_id_from=333.999.0.0
182 1
|
7月前
|
人工智能 Python
隐私计算实训营 第1期-第4讲 快速上手隐语SecretFlow的安装和部署
文档改进建议:明确Ray, K3S, Kuscia与SecretFlow的关系;结构化部署文档,区分顺序步骤与选择分支;提供从零开始的详细部署教程,补充缺失的前置步骤说明。
|
7月前
|
运维 安全 数据安全/隐私保护
|
7月前
|
Ubuntu Docker 容器
隐语实训营 第四课 安装部署secretflow&secretnote
`secretflow`推荐使用Docker部署,尤其在WSL环境中。运行命令`docker run -it secretflow-registry.cn-hangzhou.cr.aliyuncs.com/secretflow-lite-anolis8:latest`启动。对于`secretnote`,编辑`docker-compose.yml`文件,配置Alice和Bob节点,然后执行`sudo docker-compose up -d`部署。访问http://localhost:8090/,设置Alice的IP为127.0.0.1:8888,Bob的IP为虚拟机以太网地址:8092,完成。
228 0
|
7月前
|
开发工具 git Docker
隐私计算实训营 第四讲 快速上手隐语SecretFlow的安装和部署
在两台虚拟机(10.10.101.58:alice, 10.10.104.124:bob)上部署Secretflow,使用docker和`secretflow/secretflow-lite-anolis81.4.0b0`镜像。每台机器上运行docker容器,并通过`docker exec`启动Ray服务(Bob节点在8085端口)。接着,导入secretflow库,配置集群信息并初始化。Secretnode部署通过源码完成,克隆secretnote仓库,进入sim目录,运行`docker-compose up`。展示部署成功后的界面截图。
123 0
下一篇
DataWorks