数据脱敏技术

简介: 【4月更文挑战第24天】数据脱敏可以划分为静态数据脱敏(Static Data Masking, SDM)和动态数据脱敏(Dynamic Data Masking, DDM)技术。

数据脱敏是一种采用专门的脱敏算法对敏感数据进行变形、屏蔽、替换、随机化、加密,并将敏感数据转化为虚构数据的技术。按照作用位置、实现原理,数据脱敏可以划分为静态数据脱敏(Static Data Masking, SDM)和动态数据脱敏(Dynamic Data Masking, DDM)技术


静态脱敏一般用于非生产环境,在不能将敏感数据存储于非生产环境的场合中,通过脱敏程序转换生产数据,使数据内容及数据间的关联能够满足测试、开发中的问题排查需要,也可以进行数据分析、数据挖掘等分析活动。而动态脱敏通常用于生产环境,在敏感数据被低权限用户访问时对其进行脱敏,并能够根据策略执行相应的脱敏方法。静态脱敏与动态脱敏的区别在于是否在使用敏感数据时才进行脱敏,这个区别影响了脱敏规则对应的脱敏算法、脱敏策略以及脱敏操作的执行位置。


静态脱敏技术原理主要是通过内置规则来自动识别敏感数据,通过内置的脱敏算法对数据进行漂白。针对数据库的脱敏技术使用两种方法来识别敏感数据,第一种是通过人工指定,比如通过正则表达式来指定敏感数据的格式;第二种为自动识别,该方式是基于敏感数据的特征来进行自动识别的,此方式一般不需要用户编写正则表达式的格式来指定敏感数据,而是基于聚类算法,自动对数据进行识别和分类。常规的静态脱敏用来识别一些涉及个人隐私的敏感数据,比如信用卡号、ID、手机号、电子邮箱、IP地址、住址等。


识别出敏感数据之后,就需要使用脱敏算法来进行脱敏。在比较常见的数据脱敏系统中,都内置了丰富和高效率的脱敏算法。算法的选择一般是通过手工指定,对常见数据如姓名、证件号、银行账户、金额、日期、住址、电话号码、Email地址、车牌号、车架号、企业名称、工商注册号、组织机构代码、纳税人识别号等敏感数据进行脱敏。常用的内置脱敏算法有同义替换、部分数据遮蔽、混合屏蔽和可逆脱敏等。


动态脱敏通常适用于大数据应用环境。在大数据环境中,面对海量、异构、需要实时处理的数据,如何能够在不影响数据使用的条件下,在用户层面实现数据屏蔽、加密、隐藏、审计或内容封锁是动态脱敏技术的目标。动态脱敏根据安全等级要求,按照用户角色、职责和其他规则对敏感数据进行变换。动态脱敏技术对大数据应用的合规性来说至关重要。


动态数据脱敏技术目前主流的实现机制是基于代理的实现机制。用户的数据请求被代理实时在线拦截并经脱敏后返回。这种机制的脱敏判断是在数据容器外实现的,对用户及应用程序完全透明,因而能够适用于非关系型数据库,如大数据环境。

上图展示了动态脱敏技术原理。外部有三类数据请求来源,分别是内部应用系统、外部应用系统(如报表)和数据管理应用(迁移、备份等)。动态数据代理请求系统对数据的请求来源进行识别,针对内部应用执行bypaas查询,不进行脱敏运算。对于报表类或其他业务类请求,针对不同的数据库类型采用不同的脱敏算法,经过代理请求系统返回的数据即是脱敏后的数据。假设后端访问的是关系型数据库,代理请求系统将执行的SQL请求进行变形,执行内置的脱敏函数,对返回的数据进行脱敏,返回合规的脱敏后的数据。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
SQL 算法 前端开发
技术分享-动态脱敏
数据脱敏(Data Masking),又称数据混淆、数据漂白、数据去隐私化。用虚假的数据掩饰真实数据,以达到防止数据泄漏的目的。
1045 21
|
安全 Ubuntu Unix
/var/log/syslog日志说明
`/var/log/syslog`是Unix和Linux的日志文件,记录系统事件和消息,由`syslogd`或`rsyslogd`生成。日志条目含时间戳、主机名、PID、日志级别(如DEBUG、ERROR)和事件描述。内容涵盖系统启动/关闭、硬件错误、网络、用户登录、安全事件等。查看日志可使用`cat`、`tail`、`less`或`grep`命令。不过,不同Linux发行版可能有变,如Ubuntu使用`journald`和`journalctl`。
1624 3
|
2月前
|
存储 运维 监控
大模型应用:构建智能大模型运维体系:模型健康度监测系统实践.8
本系统是面向大模型的智能健康度监测平台,采用前后端分离架构(Flask+HTML/CSS/JS),实现四层立体监控(系统资源、模型运行、服务性能、业务质量)。支持实时指标采集、动态基准线告警、多维性能评分及可视化看板,具备请求全链路追踪与预测性运维能力。
201 10
|
3月前
|
存储 关系型数据库 MySQL
MySQL 项目实战入门:从 0 到 1 搭建电商数据库
本文以电商系统为实战场景,手把手教你从零搭建MySQL数据库。涵盖环境配置、需求分析、表结构设计(遵循三大范式)、数据初始化、关联查询及性能优化,结合SQL语句与设计思路,帮助初学者快速掌握数据库项目落地全流程。
|
8月前
|
存储 人工智能 并行计算
阿里云六项满分!AI训推一体机权威报告发布
近日,国际数据公司IDC发布《中国AI训推一体机技术能力评估,2025》报告,阿里云在性能指标、架构能力、模型微调能力、推理能力、存储和网络架构、交付运维能力6项评估维度中获得满分,也是唯一一家性能指标维度满分的厂商。
745 0
|
8月前
|
人工智能 JSON 安全
一文了解智能体协作的2大核心技术:MCP与A2A
本文由产品专家三桥君介绍了AI智能体协作中的两项关键技术——MCP(模型上下文协议)和A2A(智能体协作协议)。MCP作为智能体的"操作工具箱",支持安全调用外部工具和资源;A2A则提供智能体间的"语言与组织能力",实现异构智能体的发现与协同。三桥君通过应用场景分析,展示了这两项技术在跨云协作、汽车维修服务链等领域的实践价值,并指出它们将推动智能体技术向更高效的协作方向发展。
976 0
|
11月前
|
弹性计算 运维 算法
阿里云 Elasticsearch Serverless 检索增强型 8.17 版来袭!
阿里云Elasticsearch Serverless 8.17版本,深度融合无服务器架构与分层扩展能力,面向信息检索、向量搜索、语义分析等通用场景,提供全托管服务,在最新特性扩展、自动扩缩性能、资源成本优化等维度均有显著提升。
599 15
|
安全 算法 数据管理
数据安全产品之认识数据脱敏系统
数据脱敏是一种信息安全技术,它通过将敏感信息转换成无实际意义的数据,同时保持原始数据的格式、类型和业务逻辑,以确保数据在使用过程中的安全性和合规性。数据脱敏的目的是保护个人隐私和企业敏感信息,防止数据在非生产环境中泄露或被不当使用。
781 0
|
数据采集 JavaScript 搜索推荐
服务器端渲染(SSR)(Nuxt+Next.js)
服务器端渲染(SSR)技术在服务器上生成页面HTML,提升首屏加载速度和SEO效果。Nuxt.js和Next.js分别是基于Vue.js和React.js的流行SSR框架。Nuxt.js提供自动化路由管理、页面级数据获取和布局系统,支持SSR和静态站点生成。Next.js支持SSR、静态生成和文件系统路由,通过`getServerSideProps`和`getStaticProps`实现数据获取。SSR的优点包括首屏加载快、SEO友好和适合复杂页面,但也会增加服务器压力、开发限制和调试难度。选择框架时,可根据项目需求和技术栈决定使用Nuxt.js或Next.js。
|
机器学习/深度学习 人工智能 安全
探索人工智能在网络安全中的创新应用
探索人工智能在网络安全中的创新应用
847 0