隐语1.0正式发布|MVP部署体验包、资源调度框架Kuscia全新亮相!

简介: 隐语1.0正式发布|MVP部署体验包、资源调度框架Kuscia全新亮相!

2023 年 7 月 7 日,在世界人工智能大会组委会办公室指导下,隐语开源社区携手蚂蚁集团和机器之心共同主办的数据要素与隐私计算论坛在上海世博会议中心举行。论坛上,蚂蚁集团隐私计算部总经理、隐语社区负责人王磊发布了隐语 1.0 版本,并对隐语 1.0 版本框架拓展与升级进行了整体介绍。隐语 1.0 版本不仅进一步扩大了开源范围,还对整体架构进行了调优拓展,核心内容涉及产品层、资源层、互联互通等板块,总体效果涵盖性能优化、易用性跨越式提升、互联互通形态丰富。图:隐语 1.0 架构图产品层:平滑学习曲线 提升易用性隐语开放平台已在过去一年内面向 50+ 机构开放体验。此次,隐语 1.0 版本带来全新的 MVP(Minimum Viable Product)部署体验包一款面向隐私计算初学用户的轻量级功能体验工具,内置节点、数据资源,节点间已相互授权,安装即可体验数据处理、数据分析、模型开发、模型评估等主要常见功能。相较于更侧重于生产场景的隐语开放平台,隐语 MVP 部署体验包通过多种方式降低使用门槛,为业务投产正式使用铺垫入门操作基础。下载地址:https://www.secretflow.org.cn/docs/quickstart/mvp-platform

1.MVP 部署体验包能够解决什么问题?

隐语作为工业级高可用的隐私计算框架,其性能和稳定性常收获赞许。然而,对于许多隐私计算潜在用户和初学用户而言,基础需求是快速感知功能、了解完整流程、获得直观效果,以此来进行判断或决策。隐语 MVP 部署体验包将用户体验反馈转化为成熟的产品能力,站在隐私计算初学者的角度,尽可能将准备步骤嵌入安装部署流程,提高用户与隐私计算功能直接面对面的效率。此外,我们还破除了原有的申请审核和资源支持限制,让创新技术能够无门槛地惠及更广泛的用户体验。

2.隐语 MVP 部署体验包的具体优势

  • 优势一:化繁为简 减少准备步骤中的卡点

在原本的体验流程中,用户需要自行配置节点资源和数据资源。为了解决准备链路长、卡点多的问题,隐语 MVP 部署体验包将这些准备步骤封装在包内,并以“一键安装包”的形式提供给用户。其安装过程也涵盖了联合项目的前序准备,因此用户可以更快速地开始体验隐私计算功能。

  • 优势二:模板配置 降低复杂组件上手难度

针对初次体验的用户,隐语 MVP 部署体验包提供场景化训练流模板选项,并已对各组件完成了配置。这些模板可以自动化运行直到结果,帮助用户理解组件原理并降低自定义训练流中的配置难度。

  • 优势三:新手训练营 功能体验与功能讲解同步进行

隐语 MVP 部署体验包将功能与教程合二为一,增加了交互式新手引导,让用户在学习的同时完成动手实践,进一步平滑隐私计算的学习曲线。资源层:解决跨机构计算任务中的
多方面难题
隐语 1.0 版本正式开源 Kuscia 隐私计算任务编排框架:Kuscia 可以解决业务在使用隐语时端口合并、API 接入等集成问题,支持通过互联互通或者内置部署第三方系统等不同模式和第三方系统互通。(github地址:https://github.com/secretflow/kuscia

1.什么是基础设施差异?在跨机构计算任务中将引发哪些难题?

隐私计算涉及很多跨机构场景,联合项目中的各个参与方在数据存储、数据传输、计算资源、安全控制等众多方面都不尽相同,这些都可以统称为基础设施的差异。不同参与方在运行环境及网络链路两方面存在差异。网络链路指参与方在构建隐私计算应用时节点间的通信地址、通信协议、报文加密、请求鉴权等情况,运行环境又可能分为物理机、虚拟机等。跨机构的计算任务就涉及多个机构的资源协同。在任务调度过程中,需要协调和管理各个机构的资源分配以确保任务能够按时完成,需要使用安全的通信协议和机制来保护数据的传输过程中不被篡改或窃取。如果无法保障资源的有效管理、科学调度,就会引发计算任务低效、计算资源浪费或冗余、应用不稳定甚至任务失败等一系列问题。

2.Kuscia 是如何解决这些问题的?

在部署中,基础解决轻量化的需求(轻量节点最低支持 2C4G),核心关注业务机构接入时多样化的端口适配需求,支持机构单端口,解决多任务端口问题。此外,业务机构当前重点关心的隐私计算部署问题还包括组网模式,Kuscia 支持去中心化的平等合作 P2P 模式、更便于统一管控的中心化模式以及多方合作带来两者并存的混合模式。在任务编排中,除了 DAG 任务编排这类基础标配,Kuscia 重点支持多任务并发。由于隐私计算任务通常是计算密集型,多机构同时执行及多任务并发会产生计算资源竞争,Kuscia 通过任务间资源隔离、任务优先级可控等方式保障资源的合理配置。在外部系统对接中,Kuscia 实现了任务调度层的互联互通,支持银联黑盒互联互通协议。Kuscia 为隐私计算应用提供一个统一的运行接口,用户可以直接调用多种现有的隐私计算引擎如 FATE 等。例如,业务方 A 在其业务平台中使用了某框架的联邦学习能力,但由于业务拓展升级,单一能力已不能满足需求,使用隐语 Kuscia 业务方 A 就可以实现原框架计算能力的集成调用和能力拓展,两者兼得。算法层和调度层全栈互联互通2022 年底,由中国信通院隐私计算联盟牵头,蚂蚁集团负责设计的行业首个白盒互联互通开放协议《隐私计算跨平台开放算法协议第一部分:ECDH-PSI》正式发布,标志着隐私计算进入更深层次的互通,进入算法互通的新局面。隐语 1.0 版本中,SS-LR 协议也得到了标准化。SS-LR 互联互通涉及传输层标准化、密码协议标准化、安全算子接口标准化和应用算法的标准化,几乎涉及隐语算法引擎的方方面面。基于此,隐语密态引擎的互联互通基础设施已初具形态,今后会更快、更多地推出其它互联互通算法协议,形成一套完整的开放算法(白盒)协议簇。与此同时,Kuscia 在任务调度面也支持北京金产联盟互联互通要求中的最新互联互通协议,使得算法容器能够跨平台、跨生态地调度、执行。目前 Kuscia 已与洞见 Insight 平台调通,不仅洞见的算法容器能够在隐语 Kuscia 平台上运行,隐语的算法容器也能在洞见平台上运行。通过算法引擎和 Kuscia 调度平台全栈的互联互通,隐语致力于构建一个更加透明开放的世界。隐语愿携手各界一道,为全域互联互通的密态数据要素流通网络赋能,推动隐私计算行业发展。隐语 1.0 版本更多亮点除了上述提到的三点外,隐语 1.0 版本还有在算法层、设备层、密码能力、易用性上,均有能力更新。(您的⭐️就是对隐语开源社区最大的鼓励^_^:https://github.com/secretflow/secretflow

1.算法层

多方安全计算:

SGB 性能优化

SCQL 能力:

安全协议支持:完善对 Cheetah、Aby3 安全协议支持

算法能力提升:支持 Union 水平操作,优化 Group by 逻辑

数据源支持:支持 CSV 文件,Postgres 作为 Engine 的数据源

审计能力:支持结构化的审计日志

联邦学习:

新增用户自定义 Databuilder 能力

拆分学习新增推荐场景的 DeepFM 模型

拆分学习支持 PyTorch 后端

隐语组件(component spec):

发布隐语组件标准: 遵从隐语组件标准的应用可以直接接入隐语技术栈。组件是 Kuscia 调度的最小计算单元, 可以在隐语平台中使用组件构建训练流。

首批金融全链路算法通过隐语组件标准透出

2.设备层

SPU:

PSI/PIR

完善 PIR 接口,增加 pir_memory_query 接口

优化 PIR 序列化处理,提升 PIR 序列化性能

HEU:

新增 EC ElGamal 算法

3.密码能力

新增 SOTA Ferret OT extension 算法:https://eprint.iacr.org/2020/924

在低带宽场景下性能更优

已实现后续优化 Correlated GGM Tree:https://eprint.iacr.org/2022/1431.pdf

4.易用性

提供了 SCQL 支持中文文档

提供 Lite 镜像供用户选择,Lite 镜像不包含深度学习相关依赖,大小减小至 1GB+


相关文章
|
9月前
|
数据安全/隐私保护 开发者 异构计算
阿里巴巴开源可控视频生成框架VideoComposer!(内含体验、推理实践干货)
8月16日,时间、空间可控的视频生成模型 VideoComposer 在魔搭社区开源。
阿里巴巴开源可控视频生成框架VideoComposer!(内含体验、推理实践干货)
|
5月前
|
前端开发 JavaScript IDE
蚂蚁CodeFuse新版发布,前端能力优化,支持安卓开发
蚂蚁百灵研发助手 CodeFuse 插件发布新版,本版本新增支持 Android Studio,并针对 JavaScript、TypeScript 等前端语言优化了模型效果,同时还将输出Token增加到最多 1024 个。目前 CodeFuse 处于邀请测试阶段,欢迎各位开发者前往官网申请资格参与测试。在之前已安装插件的用户需要下载最新版本,才可享受 CodeFuse 插件最新能力。
122 1
|
运维 资源调度 Kubernetes
「开源人说」第五期 | KubeVela:一场向应用交付标准的“冲锋”
「开源人说」第五期聚焦云原生领域开源至今仅两年多的项目——KubeVela,将镜头对准 KubeVela 项目背后的代码贡献者和落地实践者,讲述这个从第一天就诞生在社区的技术,如何走到对不同场景应用“海纳百川”,直至成为 CNCF 孵化项目,并逐渐向应用交付领域的事实标准演进的故事。 阅读下文,让我们跟随 KubeVela 创始团队,一起了解它的开源背后的故事。
199684 1
「开源人说」第五期 | KubeVela:一场向应用交付标准的“冲锋”
|
Cloud Native 安全 Java
「开源人说」第二期重磅上线!一起走进《从开源中来,到开源中去》
你是否思考过开源的意义?是获取免费种子用户?还是技术贡献社会价值? 开源意义千人千面,最重要的是参与进来和分享出去。贯彻开源精神,龙蜥社区从Linux开源而来,CentOS替换出发,捐赠给开放原子这样的第三方中立开源基金会,到开源中去,最后落地千行百业中去产生实际价值。从开源中来,到开源中去,龙蜥社区曾走过一条怎样的开源之路?
181184 11
「开源人说」第二期重磅上线!一起走进《从开源中来,到开源中去》
|
运维 Kubernetes Cloud Native
从构建到治理,业内首本微服务治理技术白皮书正式发布(含免费下载链接)
历经半年多的筹备,长达379页的《微服务治理技术白皮书》,于今天发布,这可能是业内首本聚焦微服务治理业务领域的白皮书,希望通过本书,能对高效解决云原生架构下的微服务治理难题,起到一点点作用。
从构建到治理,业内首本微服务治理技术白皮书正式发布(含免费下载链接)
|
弹性计算 Kubernetes Cloud Native
招商银行 KubeVela 离线部署实践
本文将以 KubeVela v1.2.5 版本为例,介绍招商银行 KubeVela 的离线部署实践,来帮助其他用户在离线环境中更便捷的完成 KubeVela 的部署。
540 0
招商银行 KubeVela 离线部署实践
|
Web App开发 前端开发 JavaScript
淘系自研前端环境管理工具 AppToolkit 正式发布
AppToolkit提供可视化配置环节的能力,屏蔽环节配置的复杂度和命令行的而学习成本,帮助开发者简单快速搭建前端开发环境。
淘系自研前端环境管理工具 AppToolkit 正式发布
|
运维 前端开发 安全
云端开发在阿里的典型应用场景 | 阿里巴巴DevOps实践指南(十)
云端开发指开发者可基于云平台完成编码、测试、发布等研发流程。一个完整的云端开发平台不仅是提供了一个云端的编码环境,还提供了一整套研发工具和配套设施,让开发者做到在云端即可完成应用程序的需求、编码、测试和运维的全生命周期管理。
云端开发在阿里的典型应用场景  | 阿里巴巴DevOps实践指南(十)
|
Cloud Native 架构师 Devops
【0928 - 0930直播导视 | PPT 下载】Envoy 架构在网易轻舟的落地实践、微服务灰度发布实战经验及解决方案
十一佳节前夕我们还将为大家奉上两场技术公开课,抓紧时间来学习吧!
2985 0
|
开发框架 开发者 前端开发
重磅首发 | 承载亿级流量的开发框架,闲鱼Flutter技术解析与实战大公开
去年闲鱼发布的《Flutter in action》为开发者带去一手的实践经验总结,现在《Flutter in action》全新升级啦!这本书并非基础知识的简单罗列,而是从一线问题出发,循序渐进,娓娓道来。不仅把Flutter的重要理念讲得极为清晰, 而且给开发者提供了应对眼前各种问题的实用方法。同时,书中还给出了详尽的可以融会贯通、举一反三的思路,理论陈述和问题分析面面俱到,力求让读者可以获得全面系统的技术知识。
67409 0
重磅首发 | 承载亿级流量的开发框架,闲鱼Flutter技术解析与实战大公开

热门文章

最新文章