隐语V0.8.0发版:基于多方安全计算的数据分析引擎SCQL上线

简介: 隐语V0.8.0发版:基于多方安全计算的数据分析引擎SCQL上线


收录于合集

#隐语解读20

#版本更新7

隐语V0.8.0版本更新,为满足多方协同的数据分析需求,隐语构建了全新的“基于多方安全计算的数据分析引擎SCQL”由隐语框架负责人王磊,在今天下午13:30准时开播的「隐语开源社区开放日」现场发布和解读,不容错过!


🌟版本更新要点

隐语SCQL(Secure Collaborative Query Language)

发音:/ˈsikw(ə)l/,同SQL,全称 Secure Collaborative Query Language (SCQL),意为MPC SQL。

-以 SQL为使用接口,基于隐语MPC内核SPU构建,支持多方联合数据分析;
-支持虚拟库、虚拟表、用户等抽象,方便进行分项目与分表的合作项目权限管控;
-支持字段级别的数据权限控制机制(CCL);
-支持上游平台集成系统 API,封装独立的产品;
-支持常用算子:JOIN, GROUP BY, 支持聚合类函数(sum/min/max/avg)、算术类算子(+、-、*、/、INTDIV)、比较类算子(<、 <=、 >、 >=、=、!=)和 IN等算子与函数;





🌟基于多方安全计算的数据分析引擎SCQL:

提到多方安全分析,除了严谨的定义和晦涩的原理,或许从具体的应用场景中更能感知它的温度:

  • 金融场景下:不同金融机构间进行合作,在不泄露用户隐私的前提下,通过贷款次数、贷款额度、守信记录等规则的查询,来辨别潜在客群是否为高风险客户;
  • 营销场景下:不同平台之间进行合作,实现用户画像互补,分析用户对内容的偏好,通过更合理的内容推荐提升用户的活跃度;
  • 医疗场景下:不同医院甚至同家医院内的不同科室之间,联合分析患者的就医记录,对挂号或预诊提供决策指导,提高医疗服务效率;

聚焦多方数据联合分析的场景,隐语基于MPC技术内核的底层抽象SPU设备,创新实现了一种SQL多方安全分析语言 "SCQL"。这种语言继承了 SQL 作为常用数据分析语言的普及性、易学性和高成熟度,同时还拓展了标准 SQL 的语义,可以描述基于多个数据源的安全计算,通过“SELECT FROM”、“JOIN ON”、“GROUP BY”等语句的组合搭配,即可完成联合分析的统计结果生成。

具体展开:

  • 从使用与集成上:方便接入用户的本地数据源,使用方式和体感与传统SQL无异,且提供简单易用的 API 接口,便于集成封装,低成本满足业务中的多方数据协同分析需求;
  • 从数据访问控制上:利用隐语CCL(Column Control List)权限控制机制,参与方对数据授权的控制颗粒度可精细到「字段(列)」,在不同的场景、不同的联合项目中,可以根据不同数据字段(列)的价值区别,进行精准的使用与控制;
  • 从功能范围及灵活度上:灵活支持SQL常用数据源,降低数据协同前的匹配成本(内置支持MySQL,且未来还计划支持postgres、Hive 和 csv等数据源);支持大部分常用数据分析算子&函数;既支持小而快、高频率为主要诉求的在线查询,也支持更复杂、侧重业务决策诉求的离线分析
  • 从计算性能上:首个工业级多方安全数据分析系统,继承了传统数据库中Query下推等重要优化手段,在联合的多方数据分析中同样实现提前过滤数据、减少网络传输,降低了MPC计算的性能开销。

📖案例介绍:

开源之外,蚂蚁保险科技团队就已经在与保险公司的合作中,面向核赔勘查场景,使用了隐语SCQL功能。基于理赔科技平台和隐私计算框架“隐语”打造了“理赔大脑”智能理赔系统,在整个系统中,多方数据联合分析解决方案是核心模块之一,帮助保险公司及其外部医疗数据ISV在原始数据不离开本地、数据价值有保护的前提下,进行联合分析。

简化来讲该方案,保司提供「用户赔案数据」包含了出险疾病类型、保单生效时间、出险时间等维度,此外保司提供的「既往症免责规则」还包含了出险疾病类型及其对应的免责规则,ISV提供「用户就医数据」包含确诊疾病类型、就诊时间等维度。

在联合分析中,通过“SELECT FROM”、“JOIN ON”等语句的组合搭配,即可完成联合分析的统计结果生成,在保障保司和ISV数据隐私的前提下,分析用户是否满足理赔条件。这一健康险定制多方数据联合分析解决方案,覆盖了全国案件占比50%省份的官方合法来源医疗数据,利于有效发现阳性线索、降低错赔风险,通过数字化调查审核控制了理赔运营成本。

未来,隐语开源社区也将发布SCQL的共建任务,欢迎大家持续关注隐语GitHub社区,甚至将你的共建计划通过pr的方式提交,成为共建任务的组成部分,共同持续建设完善这一功能。

相关文章
|
2月前
|
人工智能 前端开发 数据挖掘
Arm 发布 Neoverse 新品:数据分析性能提升 196%,奠定未来计算及 AI 的基石
北京时间 2 月 22 日,半导体巨头 Arm 更新了 Arm® Neoverse™ 产品路线图,宣布推出两款基于全新第三代 Neoverse IP 构建的全新计算子系统(CSS):Arm Neoverse CSS V3 和 Arm Neoverse CSS N3。
|
8月前
|
SQL 存储 Java
应用成本低出 N 倍的数据分析引擎 esProc SPL
我们介绍的 esProc SPL 是一个数据分析引擎,具备 4 个主要特点:低代码、高性能、轻量级、全功能。SPL 不仅写得简单,跑得也更快,既可以独立使用还能与应用集成嵌入,同时适用于多种应用场景。使用 esProc SPL 实现数据分析业务,整体应用成本将比以 SQL 为代表的传统技术低出几倍。
|
5月前
|
SQL 监控 安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
Dataphin V3.11焕新升级丨2大全新模块上线,让数据分析更敏捷、让数据流通更安全
|
6月前
|
安全 数据挖掘
专题五数据分析与多项式计算-2
专题五数据分析与多项式计算
50 0
|
6月前
|
数据挖掘
专题五数据分析与多项式计算-1
专题五数据分析与多项式计算
37 0
|
6月前
|
Python
python 股票数据分析、绘制K线图、价格走势图、收益率计算 完整代码+数据 可直接运行
python 股票数据分析、绘制K线图、价格走势图、收益率计算 完整代码+数据 可直接运行
95 0
python 股票数据分析、绘制K线图、价格走势图、收益率计算 完整代码+数据 可直接运行
|
9月前
|
缓存 弹性计算 分布式计算
阿里云适合建网、web应用、数据分析和计算、数据库系统的云服务器价格参考
阿里云服务器新客专享,新用户完成账号实名认证,享受优惠价格购买计算型、通用型、内存型云服务器爆款配置特价优惠,限1-2台,这些云服务器主要适合搭建网站、web应用、数据分析和计算、数据库系统等中小类型和规模的企业级应用。
347 1
阿里云适合建网、web应用、数据分析和计算、数据库系统的云服务器价格参考
|
9月前
|
SQL 安全 搜索推荐
瓴羊Dataphin升级V3.11,新上线数据分析、隐私计算平台促进数据流通消费
瓴羊旗下开发云核心产品Dataphin(智能数据建设与治理)近期升级到V3.11版本,全新上线Notebook数据分析空间,以及Dataphin隐私计算平台,在数据采、建、管、用的基础上,进一步强化数据消费和数据流通能力,帮助企业用标准化的产品能力,在大数据时代构建起生产经济、质量可靠、安全稳定、消费便捷的企业级数据资产,促进数据价值释放。
14339 3
|
10月前
|
数据挖掘 Python
|
12月前
|
SQL 机器学习/深度学习 人工智能
隐语开源首个工业级多方安全数据分析系统SCQL:像写SQL一样「易用」隐私计算
隐语开源首个工业级多方安全数据分析系统SCQL:像写SQL一样「易用」隐私计算
164 0