带你读《云原生机密计算最佳实践白皮书》——部署TensorFlow横向联邦学习(3)

简介: 带你读《云原生机密计算最佳实践白皮书》——部署TensorFlow横向联邦学习(3)

《云原生机密计算最佳实践白皮书》——07解决方案——Intel Confidential Computing Zoo: Intel机密计算开源解决方案——部署TensorFlow横向联邦学习(2) https://developer.aliyun.com/article/1230779?groupCode=aliyun_linux



5.2 编译镜像方式

5.2.1 下载实践源码

在已创建好的SGX实例中,下载本实践所使用到的代码。

git clone https://github.com/intel/confifidential-computing-zoo.git
cd confifidential-computing-zoo/cczoo/horizontal_flfl/

针对推荐系统任务,需要下载数据集,数据集保存在Google Drive中,您可以通过以下方式下载:

wget --load-cookies /tmp/cookies.txt "https://docs.google.com/uc?export=download&con 
fifirm=$(wget --quiet --save-cookies /tmp/cookies.txt --keep-session-cookies--no-check
 -certifificate 'https://docs.google.com/uc?export=download&id=
1xkmlOTtgqSQEWEi7ieHWYvlAl5bSthSr' -O- | sed -rn 's/.*confifirm=([0-9A-Za-z_]+).*/\1\n/p')
&id=1xkmlOTtgqSQEWEi7ieHWYvlAl5bSthSr" -O train.tar && rm -rf /tmp/cookies.txt

或者通过百度网盘下载。train.tar数据集文件需保存在recommendation_system/dataset目录下。

5.2.2 编译Docker镜像

可以通过参数  来指定编译图像分类任务或者推荐系统任务的应用程序。

./build_docker_image.sh <image_classifification/recommendation_system> latest anolisos

5.2.3 启动Docker容器

图像分类:

启动三个Docker容器(ps0、worker0、worker1)。如果在本地运行,请在  中填写本地PCCS服务器地址。如果在云端运行请在进入Docker容器后修改 /etc/sgx_default_qcnl.conf 文件中的PCCS服务器地址,填写云端的PCCS地址,忽略启动脚本中的  参数。

./start_container.sh <ps0/worker0/worker1> <PCCS ip addr> latest anolisos
cd /image_classifification

推荐系统:

启动五个Docker容器(ps0、worker0、worker1、worker2、worker3)。如果在本地运行,请在 中填写本地PCCS服务器地址。如果在云端运行请在进入Docker容器后修改 /etc/sgx_default_qcnl.conf 文件中的PCCS服务器地址,填写云端的PCCS地址,忽略启动脚本中的  参数。

./start_container.sh <ps0/worker0/worker1/worker2/worker3> <PCCS ip addr> latest anolisos
d /recommendation_system




《云原生机密计算最佳实践白皮书》——07解决方案——Intel Confidential Computing Zoo: Intel机密计算开源解决方案——部署TensorFlow横向联邦学习(4) https://developer.aliyun.com/article/1230777?groupCode=aliyun_linux

相关文章
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
844 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
人工智能 自然语言处理 TensorFlow
134_边缘推理:TensorFlow Lite - 优化移动端LLM部署技术详解与实战指南
在人工智能与移动计算深度融合的今天,将大语言模型(LLM)部署到移动端和边缘设备已成为行业发展的重要趋势。TensorFlow Lite作为专为移动和嵌入式设备优化的轻量级推理框架,为开发者提供了将复杂AI模型转换为高效、低功耗边缘计算解决方案的强大工具。随着移动设备硬件性能的不断提升和模型压缩技术的快速发展,2025年的移动端LLM部署已不再是遥远的愿景,而是正在成为现实的技术实践。
1885 39
|
人工智能 Kubernetes Cloud Native
Higress(云原生AI网关) 架构学习指南
Higress 架构学习指南 🚀写在前面: 嘿,欢迎你来到 Higress 的学习之旅!
4009 1
|
运维 Dubbo Cloud Native
Dubbo 云原生重构出击:更快部署、更强控制台、更智能运维
Apache Dubbo 最新升级支持云原生,提供一键部署微服务集群与全新可视化控制台,提升全生命周期管理体验,助力企业高效构建云原生应用。
1826 25
|
Cloud Native Serverless 数据中心
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
ACK One注册集群已正式支持ACS(容器计算服务)算力,为企业的容器化工作负载提供更多选择和更强大的计算能力。
|
Cloud Native Serverless 数据中心
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
641 10
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
Cloud Native 安全 Serverless
云原生应用实战:基于阿里云Serverless的API服务开发与部署
随着云计算的发展,Serverless架构日益流行。阿里云函数计算(Function Compute)作为Serverless服务,让开发者无需管理服务器即可运行代码,按需付费,简化开发运维流程。本文从零开始,介绍如何使用阿里云函数计算开发简单的API服务,并探讨其核心优势与最佳实践。通过Python示例,演示创建、部署及优化API的过程,涵盖环境准备、代码实现、性能优化和安全管理等内容,帮助读者快速上手Serverless开发。
|
运维 Cloud Native Serverless
Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”
2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。
|
Kubernetes Cloud Native 微服务
云原生入门与实践:Kubernetes的简易部署
云原生技术正改变着现代应用的开发和部署方式。本文将引导你了解云原生的基础概念,并重点介绍如何使用Kubernetes进行容器编排。我们将通过一个简易的示例来展示如何快速启动一个Kubernetes集群,并在其上运行一个简单的应用。无论你是云原生新手还是希望扩展现有知识,本文都将为你提供实用的信息和启发性的见解。

热门文章

最新文章