Data Masking:线上数据线下使用的数据处理方法

简介: 数据脱敏,Data Masking:线上数据线下使用的数据处理方法

Data Masking:线上数据线下使用的数据处理方法

在信息技术领域,敏感数据是指那些一旦被泄露或滥用,可能会对个人隐私、企业利益或国家安全造成严重影响的信息。这类数据通常包括但不限于:
个人信息:如姓名、身份证号、联系方式、住址等。
财务信息:如银行账户、信用卡号、交易记录等。
商业机密:如产品设计、市场策略、研发资料等。

数据脱敏(DataMasking)就是针对敏感信息进行处理的技术,通过对敏感数据的清晰、变形等方法保护了敏感信息的保密性,同时又能够利用这些信息进行质量保证工作的支持。

数据脱敏的规则

  • 随机化:通过将敏感数据替换为随机值或者伪随机值,保护原始数据的真实性。例如,将身份证替换为随机生成的身份证号码;
  • 掩码:通过将敏感数据的一部分替换为掩码,隐藏部分敏感信息。例如,将电话号码的后6位替换为星号;
  • 加密:通过对敏感数据进行加密,保护数据的机密性。例如,对信用卡号码加密处理,可以通过哈希法将新信用卡号码进行哈希处理,转换成不可逆的哈希值;
  • 截断:通过截断敏感数据的一部分或全部,限制访问敏感信息的范围。例如,只显示姓名的首字母;
  • 虚拟:在测试和开发环境中使用虚拟数据代替真实数据,虚拟数据可以是随机生成的、采样的或者是经过脱敏处理的;
  • 偏移:对于某一些数据进行固定的偏移,例如订单流水实际都是1开头的,那么我们都处理成9开头的。
  • 合成:通过算法生成与真实数据相似但不完全相同的数据。这些数据在统计特性上与原始数据保持一致,但不包含任何可以追溯到个人的信息。例如利用原始数据的统计特性,如均值、方差等,生成新的数据集;使用机器学习模型,如决策树、神经网络等,学习原始数据的模式,并生成新的数据集等等方法。

数据脱敏的流程

数据脱敏

  • 明确脱敏数据范围:了解哪些数据需要脱敏,避免过度脱敏或不足。
  • 选择合适的脱敏规则:根据数据类型和使用场景,选择最合适的脱敏规则。
  • 审查脱敏策略:随着业务发展和技术进步,定期审查和更新脱敏策略。
  • 自动化脱敏过程:利用自动化工具进行数据脱敏,提高效率和准确性。
目录
相关文章
|
Oracle 关系型数据库 数据库
Oracle中merge Into的用法
Oracle中merge Into的用法
|
机器学习/深度学习 人工智能 算法
《AI芯片:如何让硬件与AI计算需求完美契合》
在人工智能快速发展的今天,AI芯片成为推动该领域前行的关键力量。AI芯片如同“超级大脑”,支撑着从智能语音助手到自动驾驶汽车等各种复杂应用。它通过GPU、ASIC和FPGA等架构,优化矩阵运算、内存管理和数据传输,满足大规模数据处理需求。尽管面临通用性和成本挑战,未来AI芯片有望在异构计算、新兴技术和降低成本方面取得突破,为AI发展注入强大动力。
909 17
|
存储 人工智能 编译器
【AI系统】算子手工优化
本文深入探讨了手写算子调度的关键因素及高性能算子库的介绍,通过计算分析指标和 RoofLine 模型评估计算与访存瓶颈,提出了循环、指令、存储三大优化策略,并介绍了 TVM 和 Triton 两种 DSL 开发算子的方法及其在实际应用中的表现。
1599 2
【AI系统】算子手工优化
|
机器学习/深度学习 人工智能 自然语言处理
昇腾AI行业案例(四):基于 Bert 模型实现文本分类
欢迎学习《昇腾行业应用案例》的“基于 Bert 模型实现文本分类”实验。在本实验中,您将学习如何使用利用 NLP (natural language processing) 领域的AI模型来构建一个端到端的文本系统,并使用开源数据集进行效果验证。为此,我们将使用昇腾的AI硬件以及CANN等软件产品。
1382 0
|
存储 Shell 开发工具
GitHub git push超过100MB大文件失败(write error: Broken pipe)完美解决
GitHub git push超过100MB大文件失败(write error: Broken pipe)完美解决
2709 0
GitHub git push超过100MB大文件失败(write error: Broken pipe)完美解决
|
机器学习/深度学习 存储 编解码
什么是图像噪声?是如何产生的?图像去噪技术都有哪些?
图像噪声是在图像采集、传输和处理过程中产生的像素值异常现象,主要由光子计数统计、电子偏移和放大器噪声等因素引起。噪声影响图像质量,降低信噪比,使特征难以识别。图像去噪技术包括传统方法(如空间域滤波、频域滤波、图像压缩和超糅合)和基于深度学习的方法(如卷积神经网络、残差网络和生成对抗网络),旨在有效去除噪声,提高图像质量。
|
JavaScript Java 开发工具
Electron V8排查问题之接近堆内存限制的处理如何解决
Electron V8排查问题之接近堆内存限制的处理如何解决
1167 1
|
JSON 前端开发 JavaScript
【amis低代码前端框架】vue2集成百度低代码前端框架amis
【amis低代码前端框架】vue2集成百度低代码前端框架amis
1681 0
|
缓存 资源调度 前端开发
Yarn的安装及使用教程
Yarn的安装及使用教程
1453 1