带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)

简介: 带你读《云原生机密计算最佳实践白皮书》——PPML: 端到端隐私保护机器学习解决方案(上)

PPML: 端到端隐私保护机器学习解决方案


项目位置链接

https://github.com/intel-analytics/BigDL

https://github.com/intel-analytics/BigDL/tree/main/ppml


技术自身介绍

领域的问题和挑战

在众多计算应用场景中,大数据分析和人工智能已经成为不可或缺的关键环节。总体而言,数据越多,数据分析的价值越大,ML/DL的模型也会越完善。但囤积和处理海量数据也带来了隐私、安全和监管等风险。隐私保护机器学习(PPML,包含大数据分析和人工智能)有助于化解这些风险,能够在不透露原始数据的前提下,实现数据的有效流动,让使用方利用数据的价值。


对挑战的解决方案BigDL PPML

英特尔至强可扩展处理器为隐私保护机器学习提供了可信硬件执行环境 - 英特尔® SGX和英特尔®TDX。英特

尔基于这些技术打造了端到端的大数据和人工智能隐私计算解决方案BigDL PPML。

BigDL是英特尔开源的统一的人工智能解决方案平台,数据科学家,数据工程师等开发者可以使用BigDL轻

松创建端到端的分布式人工智能应用。BigDL应用英特尔SGX/TDX可信硬件执行环境(Trusted Execution

Environ[1]ment, TEE),并集成了其他软硬件安全措施,构建了一个分布式的隐私保护机器学习(Privacy

Preserving Machine Learning, PPML)平台,能够保护端到端(包括数据输入,数据分析,机器学习,深度

学习等各个阶段)的分布式人工智能应用。


技术介绍

1685077531644.png

1685077548225.png

上图是BigDL PPML预制工作流:

1、用户通过BigDL PPML命令行向Kubernetes提交任务,此操作会创建一个驱动节点

2、BigDL PPML客户端认证驱动节点

3、驱动节点创建更多的工作节点

4、驱动节点认证工作节点

5、驱动节点和工作节点从密钥管理服务获取密钥

6、工作节点读取输入数据并解密

7、工作节点分布式运行大数据,机器学习或者深度学习任务


《云原生机密计算最佳实践白皮书》——07解决方案——PPML: 端到端隐私保护机器学习解决方案(下) https://developer.aliyun.com/article/1230703?groupCode=aliyun_linux

相关文章
|
1月前
|
机器学习/深度学习 数据采集 自动驾驶
构建高效机器学习模型的最佳实践
【2月更文挑战第25天】 在数据驱动的时代,机器学习已成为解决复杂问题的利器。本文旨在分享一系列实用的技术策略,帮助读者构建出既高效又准确的机器学习模型。我们将探讨数据预处理的重要性、特征选择的艺术、模型优化的技巧以及如何通过交叉验证来提升模型的泛化能力。这些最佳实践不仅适用于新手,对于有经验的数据科学家来说,也能作为有效的参考和回顾。
|
1月前
|
机器学习/深度学习 人工智能 算法
AI加速引擎PAI-TorchAcc:OLMo训练加速最佳实践
阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下,PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X,在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。
|
3月前
|
人工智能 分布式计算 算法框架/工具
揭开阿里巴巴PAI的神秘面纱:引领人工智能计算的新篇章
揭开阿里巴巴PAI的神秘面纱:引领人工智能计算的新篇章 随着人工智能技术的飞速发展,越来越多的企业开始关注并投入到AI的研究和应用中。阿里巴巴作为全球领先的科技公司,也在AI领域做出了卓越的贡献。今天,就让我们一起来揭开阿里巴巴PAI的神秘面纱,了解这个强大的AI平台如何引领人工智能计算的新篇章。 PAI,全称阿里巴巴公共AI平台,是一个集数据准备、模型开发与训练、模型部署于一体的综合性AI平台。PAI的业务架构分为五层,从基础设施层到业务层,涵盖了AI计算的全过程。
60 2
|
25天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型的最佳实践
【4月更文挑战第3天】在数据驱动的时代,构建高效的机器学习模型已成为解决复杂问题的关键。本文将探讨一系列实用的技术策略,旨在提高模型的性能和泛化能力。我们将从数据预处理、特征工程、模型选择、超参数调优到集成学习等方面进行详细讨论,并通过实例分析展示如何在实践中应用这些策略。
17 1
|
2月前
|
Prometheus Cloud Native 数据库
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
|
3天前
|
机器学习/深度学习 数据采集 监控
构建高效机器学习模型的最佳实践
【4月更文挑战第25天】 在数据驱动的时代,机器学习已成为创新和效率提升的关键工具。本文将探讨一系列实用的策略和技术,旨在帮助读者构建出更高效、更精确的机器学习模型。我们将从数据处理开始,讨论特征选择的重要性以及如何避免过拟合,接着深入到模型选择与优化,最后讨论模型部署和维护的实践要点。通过遵循这些最佳实践,读者能够提升其机器学习项目的成功率并实现更好的业务成果。
|
5天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型的最佳实践
【4月更文挑战第23天】在数据驱动的时代,机器学习已成为创新的核心动力。本文深入探讨了构建高效机器学习模型的关键步骤,包括数据预处理、特征工程、模型选择、训练技巧以及性能评估。通过实例分析与经验总结,旨在为从业者提供一套实用的技术指南,帮助他们在复杂数据环境中提升模型的准确性和泛化能力。
|
27天前
|
存储 Cloud Native Serverless
云原生最佳实践系列 7:基于 OSS Object FC 实现非结构化文件实时处理
阿里云OSS对象存储方案利用函数计算FC,在不同终端请求时实时处理OSS中的原图,减少衍生图存储,降低成本。
|
27天前
|
负载均衡 Cloud Native 安全
云原生最佳实践系列 6:MSE 云原生网关使用 JWT 进行认证鉴权
本文档介绍了如何在 MSE(Microservices Engine)云原生网关中集成JWT进行全局认证鉴权。
|
27天前
|
消息中间件 NoSQL Kafka
云原生最佳实践系列 5:基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
该方案描述了一个大数据ETL流程,其中阿里云Kafka消息根据内容触发函数计算(FC)函数,执行针对MongoDB的增、删、改操作。

热门文章

最新文章