DataTrust:从产品需求到工程架构实践(连载2)

本文涉及的产品
智能数据建设与治理Dataphin,200数据处理单元
简介: 本期将接着为大家讲解,国内唯一一个获得工信部三项隐私计算测评的产品DataTrust,在隐私计算领域从产品需求到工程架构的实践之路。

“继上期介绍了新监管形势下的隐私技术及数据共享应用合规设计的思考,本期将接着为大家讲解,国内唯一一个获得工信部三项隐私计算测评的产品DataTrust,在隐私计算领域从产品需求到工程架构的实践之路。”


随着数据作为第五大生产要素被提出,“数据流通”的社会价值已形成广泛共识,由于行业背景、数据现状、研发能力等方面的差异性,不同行业企业对于“数据流通”的场景和诉求也不尽相同:


  • 数据安全要求不同:有些企业相信中立的第三方,能接受数据安全上传至受信的第三方平台的方案;有些企业对数据保护较敏感,希望原始数据不流出自有网络和自有机器。
  • 数据融合计算模式不同:有些场景需要统计分析的隐私计算能力,如双方数据求交后做SUM/COUNT等计算,或者双方联合SQL计算,最终得到统计分析结果;有些场景需要机器学习的隐私计算能力,如双方联合完成模型训练、模型预测,最终得到算法知识结果。
  • 数据的云化程度不同:一些企业大部分业务系统已经上云,数据从产生到分析的全链路都在云平台完成,因此这类客户需要云上的解决方案来实现数据流通;还有很多企业的主要业务系统以及业务数据仍在自有IDC机房生成和加工处理,他们同样也有数据流通的需求场景。
  • 数据计算和存储系统千差万别:对于一些数字化转型较早的企业,往往有完备的大数据计算和存储系统,如自建Hadoop、云上EMR、数据湖等,有现成的分布式计算和存储能力;还有一些企业,还没有完整的数据仓库体系,数据还保留在MySQL、PostgreSQL等业务数据库中,这种数据量往往太大,所能提供的计算算力也比较有限。
  • 数据所处的网络环境不同:隐私计算场景下,不同企业的数据存在于不同的网络环境内,企业内的数据处理系统一般是不对外提供服务的,因此大部分场景下多方之间的隐私计算过程需要通过公网传输数据;当然,也有如金融类企业愿意提供专线用于数据传输服务。


通过分析这些需求场景,我们不难得出以下几点结论:

  • 隐私计算平台是典型的多学科交叉领域,涉及工程、算法、密码、硬件等多个方向,涉及统计分析、机器学习两大类应用场景,从广度和深度上系统架构的复杂度都很高,需要足够灵活的分层、分模块设计。


  • 针对不同类型的场景和安全诉求,需要基于不同的隐私计算技术来提供解决方案,甚至需要同时结合多种隐私计算技术,形成一套解决方案来解决某一具体场景的问题。


  • 安全合规是隐私计算技术和产品的重要依据,因此,隐私计算平台需要针对不同类型的数据融合计算场景,提供不同的隐私保护技术手段。


  • 不同客户的数据分散在不同网络环境,大数据生态系统的现状也会千差万别,因此隐私计算平台对于数据源、计算引擎、传输通道等组件的异构能力诉求是必然的,对云上部署、独立部署的能力也是基本要求。


DataTrust产品定位是通用的隐私计算产品,因此DataTrust工程技术架构能够同时支持多种隐私计算技术,严格遵循隐私计算安全标准,按照模块插件化的设计思路,适用于多种异构的计算、存储、网络环境,支持云上部署、独立部署等输出形态。


隐私增强计算技术

  • 可信执行环境(Trusted Execution Environment,TEE)

TEE是硬件中的一个独立的安全区域,由硬件来保证TEE中代码和数据的机密性和完整性。也就是说,TEE是硬件服务提供商应用硬件在现实世界中构造的安全计算环境。应用TEE实现隐私增强计算的过程可以通过下图描述。

步骤1:各个参与方将自己的数据通过安全链路传输给TEE。

步骤2:TEE在保证机密性和完整性的条件下完成计算任务。

步骤3:TEE通过安全链路将计算结果发送给各个参与方。

  • 安全多方计算(Secure Multi-Party Computation,MPC)

MPC是密码学中的定义,在无可信计算方的情况下,多个参与方各自持有秘密输入,并可完成对某个函数的计算,但每个参与方最终只能得到计算结果和能从自己输入和计算结果中推出的信息,其他信息均可得到保护。安全多方计算的定义可以通过下图描述。

  • 联邦学习(Federated Learning,FL)

联邦学习是一种多个参与方在保证各自原始私有数据不出数据方定义的私有边界的前提下,协作完成某项机器学习任务的机器学习模式。根据隐私安全诉求与训练效率的不同,可以通过MPC、同态加密(Homomorphic Encryption,HE)、差分隐私(定义见下)等多种方式实现联邦学习。

  • 差分隐私(Differential Privacy,DP)

DP是一种基于对数据引入随机扰动,并从理论层面度量随机扰动所带来的隐私保护程度的隐私保护方法。根据随机扰动方式的不同,DP分为在原始数据层面进行随机扰动的本地差分隐私(Local Differential Privacy,LDP)和在计算结果层面进行随机扰动的中心差分隐私(Central Differential Privacy,CDP)。


以上几种常用的隐私计算技术,从工程架构角度可以划分为两类:


  • 中心化的计算模式:即可信执行环境(TEE),在这种模式下,各参与方信任中立第三方,把原始数据安全加密后上传到TEE环境,并进行后链路的统计分析、机器学习等。涉及的技术领域除了TEE,还需要辅助RSA、AES等加密技术手段。
  • 去中心化的计算模式:即安全多方计算(MPC)、联邦学习(FL)等,在这些模式下,各参与方不愿意把原始数据给到任何一方,包括任何第三方,各参与方按照多方计算的协议进行本地安全计算,传输协议数据、中间参数数据,最终完成联合的统计分析、机器学习等。需要特别说明的是,在去中心化的多方安全计算过程中,还是不可避免的需要有一个协调方的角色负责双方计算过程的协调、协议公共参数下发等过程,实际落地中,这个协调方可以由某一个参与方来承担,也可以由云平台、第三方来承担。涉及的技术领域除了MPC、FL,还需要辅助同态加密(HE)、差分隐私(DP)等技术。


DataTrust在工程架构设计阶段,抽象出“协调方”的角色,既能够在中心化场景下承担任务协调与中心化可信计算的职责,又能够在去中心化场景下承担多个计算方之间的任务协调职责,从而最终形成一套统一的技术架构支持不同类型的隐私计算技术,在安全性和架构统一性上取得了很好的平衡。在此基础上,进一步按照模块组件化设计,能够支持灵活的部署形态,具备各种异构环境下输出的能力。


DataTrust工程架构设计

基于以上思考,DataTrust隐私计算平台从功能模块上设计包含两个模块:

  • 云上安全协调中心(Cloud Security Coordination Center,简称CSCC):以SaaS化服务部署在阿里云公有云或专有云,亦可独立化部署在客户私网环境,承担LSCC之间的任务协调调度、任务下发等协调性工作,同时还提供中心化的数据安全计算能力(即TEE可信执行环境)。
  • 本地安全计算中心(Local Security Computation Center,简称LSCC):提供本地化数据源的管理、数据密钥管理、数字签名共识审批并提供本地化隐私增强计算能力,能保护客户原始数据不出域,因此需要在用户私网环境部署。


以下是DataTrust的工程技术架构图:

  • 安全技术:底层基于不同类型的隐私计算技术,包括多方安全计算、同态加密、差分隐私、联邦学习等软件相关安全技术,以及SGX2.0等硬件相关安全技术;
  • 无量框架:抽象和设计一套工程框架,向下统一支持不同类型的安全技术,向上依次提供三层能力:

- 引擎层:提供不同协议的编译过程、执行算子库等能力;提供任务调度执行相关能力,包括任务调度执行、资源管理、执行算子库等;提供不同类型计算引擎的抽象和管理能力;

- 服务层:面向产品功能提供服务实现,包括任务管理、审批管理、数据管理、租户管理、系统配置等;

- API层:基于中间服务层提供的服务能力,面向业务前台提供API接口能力;

  • 产品能力:DataTrust通过云产品形式,输出标准化的产品能力(CSCC+LSCC),同时能够作为平台技术提供方,被第三方产品、客户方所集成,从而满足定制化的需求场景;
  • 解决方案:从业务视角,面向客户提供联合分析、联合建模、联合预测等标准化的解决方案能力。


DataTrust在设计阶段,从逻辑上拆分为了CSCC和LSCC两个功能产品模块,针对不同的应用场景,在物理部署时可以灵活支持以下两种不同的部署形态:


  • 云上部署架构:云上部署CSCC,客户在云上VPC或自有IDC机房等私域环境下部署LSCC。优点是各参与方无需部署和运维CSCC,由云平台作为第三方承担协调方的职责,各参与方仅需部署轻量化的LSCC即可完成本地安全计算。


  • 独立部署架构:一方客户在自有IDC机房等私域环境下部署CSCC+LSCC,另一方客户在自有IDC机房等私域环境下部署LSCC,双方点对点完成多方联合计算过程。该部署架构适用于金融等行业客户,希望能够不依赖于云平台、完全独立部署的场景。优点是无需引用云平台负责多方之间的协调职责,但前提是参与方之间一方信任另一方来承担协调职责。



DataTrust技术架构优势

  • 严格遵循隐私计算安全标准

- 去中心化的多方计算架构:在客户IDC/云上VPC等自有网络环境部署本地安全计算客户端(LSCC),云上协调中心(CSCC)无法触达客户数据密钥等敏感信息,计算过程完全在客户本地完成。

- 行业标准、评测、专利:国家众多隐私计算标准、行业标准的参与制定者,工信部唯一一个颁发三项隐私计算评测的产品,通过金标委评测的产品,拥有多项国家发明专利、软件著作权

- 更高效、更安全的底层协议:紧贴业界前沿隐私计算学术研究,协议深度定制优化;创新性的理论研究成果,产学研有机结合与落地。


  • 模块插件化、适配多种异构环境

遵循插件化的设计思路,随着支持业务落地过程中,目前已经支持了多种常见的配置源、数据源、计算引擎、传输通道等核心组件插件,而且能够快速扩展新的插件实现。

  • 云原生容器化部署、多种部署交付形态

得益于灵活的技术架构、以及容器化的实现,DataTrust可以支持以下不同的部署形态:

- 云上部署:Client/Server模式

- 独立部署:Peer to Peer模式

- 一体机部署:软硬件一体机模式

- LSCC部署:单机模式(最小化部署)、集群模式(分布式部署)


  • 大数据场景高性能及规模化

- 完整的、系统化的商用云产品方案

  • 包含协议密钥管理、协议编译、数据源管理、作业管理、作业调度执行等全链路产品化能力。
  • 支持多租户的任务调度,支持即时调度、周期调度等调度方式。
  • 业界领先的执行性能,超大规模数据场景下的稳定服务,且支持规模化服务客户。

- 灵活的平台开放能力

  • 开放Open API,方便业务方集成开发、定制化开发场景。
  • 开放执行算子开发框架,支持合作方、业务方自定义执行算子的开发与集成。

业务落地案例

DataTrust已具备MPC、FL、TEE等多种隐私计算技术下的联合分析、联合学习的产品化解决方案能力,目前已在多个业务场景完成落地。

  • 联合分析:一方内容媒体侧和电商交易侧做全链路营销分析转化,用来指导产品和营销整体方案。



  • 联合建模:广告主和媒体侧数据联合建模,提高转化率,用来指导投放策略。


以上是DataTrust在隐私计算领域从产品需求到工程架构的实践之路。

后续我们将从不同的产品功能方向,进一步和大家分享DataTrust的更多技术实现细节,敬请期待哦~




隐私增强计算平台DataTrust

DataTrust是行业领先的基于可信执行环境(Trusted Execution Environment,TEE)、安全多方计算(Secure Multi-Party Computation,MPC)、联邦学习(Federated Learning,FL)、差分隐私(Differential Privacy,DP)等隐私增强计算(Privacy Enhancing Technique)技术打造的隐私增强计算平台,在保障数据隐私及安全前提下完成多方数据联合分析、联合训练、联合预测,实现数据价值的流通,助力企业业务增长。


相关文章
|
1天前
|
Cloud Native 安全 持续交付
构建未来应用:云原生架构的演进与实践
【5月更文挑战第20天】 在数字化转型的浪潮中,云原生技术以其独特的弹性、可扩展性和敏捷性成为推动企业IT架构现代化的关键力量。本文将深入探讨云原生的核心概念、关键技术以及如何在企业环境中实施云原生架构。我们将从容器化技术的基本原理出发,解析微服务架构的设计原则,并讨论如何通过持续集成和持续部署(CI/CD)实现快速迭代。此外,文章还将涉及如何利用云平台的资源和服务优化云原生应用的性能和安全性。通过对云原生生态的深度剖析,本文旨在为开发者和企业提供一条明晰的路径,以构建和维护在不断变化的市场环境中能够持续创新的应用程序。
|
1天前
|
监控 测试技术 持续交付
构建高效微服务架构:后端开发的现代实践
【5月更文挑战第20天】 随着企业级应用的复杂度日益增加,微服务架构已成为解决传统单体应用弊端、实现敏捷开发和部署的关键。本文将深入探讨构建高效微服务架构的策略与实践,涉及核心组件的选择、服务划分原则、以及持续集成/持续部署(CI/CD)流程的优化。通过分析具体案例,我们将展示如何在保证系统稳定性的同时,提高系统的可扩展性、可维护性和技术栈的多样性。文章不仅适用于正在考虑转型至微服务架构的团队,也为寻求提升现有微服务性能的开发者提供参考。
|
1天前
|
存储 运维 关系型数据库
2024年最全ceph的功能组件和架构概述(2),Linux运维工程面试问题
2024年最全ceph的功能组件和架构概述(2),Linux运维工程面试问题
2024年最全ceph的功能组件和架构概述(2),Linux运维工程面试问题
|
1天前
|
存储 弹性计算 Cloud Native
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
2天前
|
缓存 负载均衡 算法
构建高效微服务架构:API网关的设计与实践
【5月更文挑战第20天】 在微服务架构中,API网关作为系统入口,承担着请求路由、负载均衡、权限校验等关键职责。本文将深入探讨如何设计一个高性能且易于扩展的API网关,并分享在实际项目中的实践心得。通过分析API网关的核心组件和常见挑战,我们将讨论优化策略,包括但不限于缓存机制、限流算法以及服务熔断。文章最终旨在提供一套可行的解决方案,帮助开发者构建出既健壮又灵活的后端服务架构。
|
3天前
|
敏捷开发 监控 API
构建高效微服务架构:从理论到实践
【5月更文挑战第18天】 在当今快速发展的软件开发领域,微服务架构已经成为一种流行的设计模式,它通过将大型应用程序分解为一系列小型、独立的服务来提高系统的可伸缩性、弹性和维护性。本文旨在探讨如何从理论走向实践,构建一个高效的微服务架构。文章首先介绍微服务的基本概念和优势,然后详细讨论了在设计和部署微服务时需要考虑的关键因素,包括服务划分、通信机制、数据一致性、容错处理和监控策略。最后,结合具体案例分析,展示如何在现实世界中应用这些原则,确保微服务架构的高效运行。
|
4天前
|
测试技术 持续交付 API
构建高效的微服务架构:后端开发的现代实践
【5月更文挑战第18天】在数字化转型的浪潮中,微服务架构已成为企业追求敏捷、可扩展和容错能力的关键解决方案。本文将深入探讨微服务的核心概念,包括其设计原则、技术栈选择以及实施过程中的挑战与对策。通过对微服务架构实践的详细剖析,旨在为后端开发人员提供一套构建和维护高效微服务系统的实用指南。
|
4天前
|
运维 Cloud Native 持续交付
构建未来:云原生架构的演变与实践
【5月更文挑战第17天】 在数字化转型的浪潮中,企业正迅速采用云原生技术来构建和部署应用程序。本文将深入探讨云原生架构的核心概念、发展历程以及如何在现代IT环境中实现敏捷、可扩展和高效的服务。通过对容器化、微服务、持续集成和持续部署(CI/CD)等关键技术的分析,我们将揭示如何利用云原生方法论来优化资源利用、加快产品上市速度,并提高系统的可靠性。
14 3
|
5天前
|
边缘计算 负载均衡 网络协议
B站千万级长连接实时消息系统的架构设计与实践
本文将介绍B站基于golang实现的千万级长连接实时消息系统的架构设计与实践,包括长连接服务的框架设计,以及针对稳定性与高吞吐做的相关优化。
24 9
|
6天前
|
消息中间件 存储 Apache
MQ产品使用合集之有RocketMQ arm架构的镜像吗
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
150 1