带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)

简介: 带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)

PPML: 端到端隐私保护机器学习解决方案


项目位置链接

https://github.com/intel-analytics/BigDL

https://github.com/intel-analytics/BigDL/tree/main/ppml


技术自身介绍

领域的问题和挑战

在众多计算应用场景中,大数据分析和人工智能已经成为不可或缺的关键环节。总体而言,数据越多,数据分析的价值越大,ML/DL的模型也会越完善。但囤积和处理海量数据也带来了隐私、安全和监管等风险。隐私保护机器学习(PPML,包含大数据分析和人工智能)有助于化解这些风险,能够在不透露原始数据的前提下,实现数据的有效流动,让使用方利用数据的价值。


对挑战的解决方案BigDL PPML

英特尔至强可扩展处理器为隐私保护机器学习提供了可信硬件执行环境 - 英特尔® SGX和英特尔®TDX。英特

尔基于这些技术打造了端到端的大数据和人工智能隐私计算解决方案BigDL PPML。

BigDL是英特尔开源的统一的人工智能解决方案平台,数据科学家,数据工程师等开发者可以使用BigDL轻

松创建端到端的分布式人工智能应用。BigDL应用英特尔SGX/TDX可信硬件执行环境(Trusted Execution

Environ[1]ment, TEE),并集成了其他软硬件安全措施,构建了一个分布式的隐私保护机器学习(Privacy

Preserving Machine Learning, PPML)平台,能够保护端到端(包括数据输入,数据分析,机器学习,深度

学习等各个阶段)的分布式人工智能应用。


技术介绍

1685077531644.png

1685077548225.png

上图是BigDL PPML预制工作流:

1、用户通过BigDL PPML命令行向Kubernetes提交任务,此操作会创建一个驱动节点

2、BigDL PPML客户端认证驱动节点

3、驱动节点创建更多的工作节点

4、驱动节点认证工作节点

5、驱动节点和工作节点从密钥管理服务获取密钥

6、工作节点读取输入数据并解密

7、工作节点分布式运行大数据,机器学习或者深度学习任务


《云原生机密计算最佳实践白皮书》——07解决方案——PPML: 端到端隐私保护机器学习解决方案(下) https://developer.aliyun.com/article/1230703?groupCode=aliyun_linux

相关文章
|
4月前
|
存储 缓存 分布式计算
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
本文将深入探讨基于 StarRocks 和 Iceberg 构建的云原生湖仓分析技术,详细解析两者结合如何实现高效的查询性能优化。内容涵盖 StarRocks Lakehouse 架构、与 Iceberg 的性能协同、最佳实践应用以及未来的发展规划,为您提供全面的技术解读。 作者:杨关锁,北京镜舟科技研发工程师
StarRocks x Iceberg:云原生湖仓分析技术揭秘与最佳实践
|
11月前
|
运维 Cloud Native 云计算
云原生技术:探索未来计算的无限可能
【10月更文挑战第8天】 云原生技术,作为云计算领域的一次革新性突破,正引领着企业数字化转型的新浪潮。它不仅重塑了应用的构建、部署和运行方式,还通过极致的弹性、敏捷性和可扩展性,解锁了未来计算的无限潜力。本文将深入浅出地解析云原生技术的核心理念、关键技术组件及其在不同行业中的实际应用案例,展现其如何赋能业务创新,加速企业的云化之旅。
150 7
|
7月前
|
Cloud Native Serverless 数据中心
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
ACK One注册集群已正式支持ACS(容器计算服务)算力,为企业的容器化工作负载提供更多选择和更强大的计算能力。
|
7月前
|
Cloud Native Serverless 数据中心
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
阿里云ACK One:注册集群支持ACS算力——云原生时代的计算新引擎
213 10
|
11月前
|
人工智能 Cloud Native 安全
从云原生到 AI 原生,网关的发展趋势和最佳实践
本文整理自阿里云智能集团资深技术专家,云原生产品线中间件负责人谢吉宝(唐三)在云栖大会的精彩分享。讲师深入浅出的分享了软件架构演进过程中,网关所扮演的各类角色,AI 应用的流量新特征对软件架构和网关所提出的新诉求,以及基于阿里自身实践所带来的开源贡献和商业能力。
744 105
|
Cloud Native 关系型数据库 Serverless
基于阿里云函数计算(FC)x 云原生 API 网关构建生产级别 LLM Chat 应用方案最佳实践
本文带大家了解一下如何使用阿里云Serverless计算产品函数计算构建生产级别的LLM Chat应用。该最佳实践会指导大家基于开源WebChat组件LobeChat和阿里云函数计算(FC)构建企业生产级别LLM Chat应用。实现同一个WebChat中既可以支持自定义的Agent,也支持基于Ollama部署的开源模型场景。
1556 115
|
9月前
|
运维 Cloud Native Serverless
Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”
2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。
|
10月前
|
敏捷开发 Kubernetes Cloud Native
阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理
在多云环境中,阿里云云原生技术为企业提供了一套高效、灵活的解决方案,支持跨云部署与管理。通过容器化、服务网格等技术,实现了应用的一致性与可移植性,简化了多云环境下的资源管理和服务治理,帮助企业应对复杂的云环境挑战,加速数字化转型。
218 5
|
10月前
|
存储 Prometheus 运维
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案
在云原生环境中,阿里云ARMS与Prometheus的集成提供了强大的应用实时监控解决方案。该集成结合了ARMS的基础设施监控能力和Prometheus的灵活配置及社区支持,实现了全面、精准的系统状态、性能和错误监控,提升了应用的稳定性和管理效率。通过统一的数据视图和高级查询功能,帮助企业有效应对云原生挑战,促进业务的持续发展。
250 3
|
10月前
|
消息中间件 监控 Cloud Native
云原生架构下的数据一致性挑战与解决方案####
在数字化转型加速的今天,云原生架构以其轻量级、弹性伸缩和高可用性成为企业IT架构的首选。然而,在享受其带来的灵活性的同时,数据一致性问题成为了不可忽视的挑战。本文探讨了云原生环境中数据一致性的复杂性,分析了导致数据不一致的根本原因,并提出了几种有效的解决策略,旨在为开发者和企业提供实践指南,确保在动态变化的云环境中保持数据的完整性和准确性。 ####