带你读《云原生机密计算最佳实践白皮书》——部署TensorFlow横向联邦学习(4)

简介: 带你读《云原生机密计算最佳实践白皮书》——部署TensorFlow横向联邦学习(4)

《云原生机密计算最佳实践白皮书》——07解决方案——Intel Confidential Computing Zoo: Intel机密计算开源解决方案——部署TensorFlow横向联邦学习(3) https://developer.aliyun.com/article/1230778?groupCode=aliyun_linux



6 实践运行

6.1 图像分类

在多台服务器上部署不同分布式节点的情况下,可以通过修改Docker容器中/image_classifification/目录下的train.py训练脚本来配置分布式节点IP地址:

tf.app.flflags.DEFINE_string("ps_hosts", "['localhost:60002']", "ps hosts")
tf.app.flflags.DEFINE_string("worker_hosts", "['localhost:61002','localhost:61003']", "worker hosts")

并在修改后重新编译应用:

cd /image_classifification
./test-sgx.sh make

编译过程中会生成MR_ENCLAVE,MR_SIGNER,ISV_PROD_ID,ISV_SVN。

配置Docker容器中/image_classifification/下的dynamic_confifig.json文件,填入待通信方节点在编译应用阶段生成的MR_ENCLAVE,MR_SIGNER,ISV_PROD_ID,ISV_SVN的值,如:

{
 "verify_mr_enclave" : "on",
 "verify_mr_signer" : "on",
 "verify_isv_prod_id" : "on",
 "verify_isv_svn" : "on",
 "sgx_mrs": [
 {
 "mr_enclave" : "1e4f3efafac6038dadaa94fdd248b93c82ae9f0a16642ffff4bb07afe442aac
 56e",
 "mr_signer" : "5add213ac35413033647621e2fab91edcc8b82f840426803feb8a603be2ce
 8d4",
 "isv_prod_id" : "0",
 "isv_svn" : "0"
 }
 ]
}

修改完成后,在每个容器中运行相应的作业脚本。

./test-sgx.sh <ps0/worker0/worker1>

您可以从终端查看训练过程中的日志信息,以确认训练在正常进行。训练过程中生成的模型文件将保存在model文件夹中,其中变量值的相关信息存放在参与方 ps0 的 model/model.ckpt-data 中,计算图结构的相关信息存放在参与方 worker0 的 model/model.ckpt-meta 中。

6.2 推荐系统

在多台服务器上部署不同分布式节点的情况下,可以通过修改Docker容器中 /ecommendation_system/目录下的 ps0.py、worker0.py、worker1.py、worker2.py、worker3.py 训练脚本来配置分布式节点IP地址:

tf.app.flflags.DEFINE_string("ps_hosts", "['localhost:70002']", "ps hosts")
tf.app.flflags.DEFINE_string("worker_hosts", "['localhost:71002','localhost:71003','localhost:
71004','locaxlhost:71005']", "worker hosts")

并在修改后重新编译应用

cd /recommendation_system
./test-sgx.sh make

编译过程中会生成MR_ENCLAVE,MR_SIGNER,ISV_PROD_ID,ISV_SVN。

配置Docker容器中 /recommendation_system/ 目录下的 dynamic_confifig.json 文件,填入待通信方节点在编译应用阶段生成的MR_ENCLAVE,MR_SIGNER,ISV_PROD_ID,ISV_SVN的值,如:

{
 "verify_mr_enclave" : "on",
 "verify_mr_signer" : "on",
 "verify_isv_prod_id" : "on",
 "verify_isv_svn" : "on",
 "sgx_mrs": [
 {
 "mr_enclave" : "8b302bbf37ce27f82a3aa95b7daffffe4b104e1faeb05e566dc8ded6ab0435
 9684",
 "mr_signer" : "5add213ac35413033647621e2fab91edcc8b82f840426803feb8a603be2ce
 8d4",
 "isv_prod_id" : "0",
 "isv_svn" : "0"
 }
 ]
}

worker节点仅需要与ps节点通信,因此只需要配置一组校验值。ps节点需要与所有worker节点通信,因此可能需要配置多组校验值。

修改完成后,在每个容器中运行相应的作业脚本。

./test-sgx.sh <ps0/worker0/worker1/worker2/worker3>

您可以从终端查看训练过程中的日志信息,以确认训练在正常进行。训练过程中生成的模型文件将保存在model文件夹中,其中变量值的相关信息存放在参与方ps0的model/model.ckpt-data中,计算图结构的相关信息存放在参与方worker0的model/model.ckpt-meta中。

相关文章
|
3月前
|
编译器 TensorFlow 算法框架/工具
windows部署tensorflow serving
windows部署tensorflow serving
|
3月前
|
Ubuntu Cloud Native 测试技术
百度搜索:蓝易云【云原生之使用Docker部署ubuntu测试环境】
请注意,以上步骤仅是简单的使用Docker部署Ubuntu测试环境的示例。在实际应用中,您可能需要根据测试需求和应用场景进行更多的配置和优化。同时,在退出容器时,容器并未删除,您可以使用 `docker rm <容器名称>`命令来删除容器。在进行测试时,请谨慎操作,并确保对Docker的使用有一定的了解,以避免不必要的问题。
41 2
|
3月前
|
存储 Cloud Native Docker
百度搜索:蓝易云【云原生之使用Docker部署Notepad个人任务管理工具】
这样,你就成功地使用Docker部署了Notepad个人任务管理工具。通过Docker部署Notepad可以使应用的安装和配置更加便捷,并且可以隔离应用环境,避免影响到宿主机的系统。希望以上教程对你有所帮助!如果你有其他问题,请随时继续提问。
56 0
|
3月前
|
Cloud Native 开发者
电子好书发您分享《云原生开发者洞察白皮书》
电子好书发您分享《云原生开发者洞察白皮书》
58 2
|
4月前
|
TensorFlow 算法框架/工具 异构计算
Windows部署TensorFlow后识别GPU失败,原因是啥?
Windows部署TensorFlow后识别GPU失败,原因是啥?
|
2月前
|
Prometheus Cloud Native 数据库
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
|
4月前
|
并行计算 Linux Docker
Docker【部署 07】镜像内安装tensorflow-gpu及调用GPU多个问题处理Could not find cuda drivers+unable to find libcuda.so...
Docker【部署 07】镜像内安装tensorflow-gpu及调用GPU多个问题处理Could not find cuda drivers+unable to find libcuda.so...
284 0
|
2月前
|
IDE Cloud Native 开发工具
云原生之在Docker环境下部署Atheos云IDE平台
【2月更文挑战第3天】云原生之在Docker环境下部署Atheos云IDE平台
365 2
|
3月前
|
Cloud Native 关系型数据库 分布式数据库
《永恒岛》引入云原生数据库PolarDB实现游戏全球部署和更流畅的游戏体验
三九互娱通过采用阿里云PolarDB作为核心数据库,备份和恢复效率提高10倍以上
74 1
|
3月前
|
TensorFlow 算法框架/工具 数据安全/隐私保护
如何在云服务器使用docker快速部署jupyter web服务器(Nginx+docker+jupyter+tensorflow)
如何在云服务器使用docker快速部署jupyter web服务器(Nginx+docker+jupyter+tensorflow)
89 0