MySQL企业版之数据脱敏功能

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL企业版之数据脱敏功能

MySQL企业版从8.0.13开始,新增一个插件叫做Data Masking and De-Identification,我将其简称为数据打码插件,其主要功能有:

  • 将部分敏感数据转换成无害数据。这就可以在查询数据库中的敏感数据时以"***"或"XXX"等方式打码显示,避免泄漏。
  • 生成随机数据,例如邮箱或银行卡号。例如在做功能测试时,我们可能需要生成一些随机数据,就用得上了。

1. 插件安装

数据打码插件名为 data_masking,安装成功后,会生成一系列UDF,部分UDF需要授予 SUPER 权限才行。

执行下面的命令即可快速安装插件:

INSTALL PLUGIN data_masking SONAME 'data_masking.so';
CREATE FUNCTION gen_blacklist RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_dictionary RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_dictionary_drop RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_dictionary_load RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_range RETURNS INTEGER SONAME 'data_masking.so';
CREATE FUNCTION gen_rnd_email RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_rnd_pan RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_rnd_ssn RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION gen_rnd_us_phone RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION mask_inner RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION mask_outer RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION mask_pan RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION mask_pan_relaxed RETURNS STRING SONAME 'data_masking.so';
CREATE FUNCTION mask_ssn RETURNS STRING SONAME 'data_masking.so';

执行下面的命令确认安装成功:

# 查询是否已启用该插件

[root@yejr.run]> show plugins;
...
| Name | Status | Type | Library | License |
+---------------------------------+----------+--------------------+-----------------+-------------+
| data_masking | ACTIVE | UDF | data_masking.so | PROPRIETARY |
...

# 目前共有14个UDF
[root@yejr.run]> select count(*) from mysql.func where dl = 'data_masking.so';
+----------+
| count(*) |
+----------+
| 14 |
+----------+

到这里,就表示安装成功了,可以愉快地给数据打码了。

2. 数据打码插件应用

2.1 隐藏重要数据

这部分共有X个UDF,我们分别举例说明。

# mask_inner()函数,从第5个字符开始打码,直到最后3个字符,用"*"代替(默认用'X'打码)
[root@yejr.run] [mysql]> SELECT mask_inner("MySQL is the world's most popular open source database", 5, 3, "*") as MySQL;
+--------------------------------------------------------+
| MySQL |
+--------------------------------------------------------+
| MySQL**ase |
+--------------------------------------------------------+

# mask_outer()函数,从头开始打码,直到第5个字符结束;再从尾部开始打码,直到倒数第三个字符结束
[root@yejr.run] [mysql]> SELECT mask_outer("MySQL is the world's most popular open source database", 5, 3) AS MySQL;
+--------------------------------------------------------+
| MySQL |
+--------------------------------------------------------+
| XXXXX is the world's most popular open source databXXX |
+--------------------------------------------------------+

2.2 生成随机数据并打码

# 生成随机数字
# 并用 gen_rnd_pan() 函数打码,只保留最后4位数,例如常用于只显示电话号码最后4位
[root@yejr.run]> select gen_rnd_pan() as RAND_NUMBER, mask_pan(gen_rnd_pan()) as MASK_RAND_NUMBER;
+------------------+------------------+
| RAND_NUMBER | MASK_RAND_NUMBER |
+------------------+------------------+
| 1936900392284608 | XXXXXXXXXXXX2155 |
+------------------+------------------+

# 也可以只打码中间部分数字
[root@yejr.run]> select gen_rnd_pan() as RAND_NUMBER, mask_pan_relaxed(gen_rnd_pan()) as MASK_RAND_NUMBER;
+------------------+------------------+
| RAND_NUMBER | MASK_RAND_NUMBER |
+------------------+------------------+
| 9868703631627362 | 426420XXXXXX3182 |
+------------------+------------------+

其他几个生成随机数据的函数还有

  • gen_rnd_ssn(),生成美式社会安全码(身份证),例如 1234-5678-0123。相应地,可以用函数 mask_ssn() 对其打码。
  • gen_range(1000, 2000),在1000 - 2000之间产生一个随机数。
  • gen_rnd_email(),生成一个随机邮件地址。
  • gen_rnd_us_phone(),生成美式电话号码,例如 1-555-016-7135。

2.3 基于字典生成随机值

有时候,需要随机生成国家地区城市数据,就可以先造好这些字典,加载到数据库中,再从中随机抽取。

编辑城市列表字典:

[root@yejr.run]# cat cn_cities.txt
Beijing
Shanghai
Shenzhen
Guangzhou
Hangzhou
Wuhan

# 加载到MySQL中
[root@yejr.run]> SELECT gen_dictionary_load('path/cn_cities.txt', 'CN_Cities');
+--------------------------------------------------------+
| gen_dictionary_load('path/cn_cities.txt', 'CN_Cities') |
+--------------------------------------------------------+
| Dictionary load success |
+--------------------------------------------------------+

# 从中随机抽取城市
[root@yejr.run]> select gen_dictionary('CN_Cities') AS City;
+----------+
| City |
+----------+
| Shenzhen |
+----------+

# 还可以配合 ELT() 函数从多个字典中随机抽取
[root@yejr.run]> select gen_dictionary(ELT(gen_range(1,3), 'DE_Cities', 'US_Cities', 'CN_Cities')) AS City;
+---------+
| City |
+---------+
| Beijing |
+---------+

2.4 其他要注意的地方

从MySQL 8.0.19开始,部分UDF函数默认使用latin1字符集,而在此之前默认使用binary字符集,使用过程中需要注意可能因此引发隐式类型转换导致索引不可用的风险,可以用 CONV() 函数进行转码。

3. 总结

数据打码插件是个非常不错的功能,除了上面描述的几个场景,还可以在用在 SELECT ... INTO OUTFILE 导出线上生产数据,然后再导入本地测试环境。或者直接在线上环境中,利用这些函数将数据脱敏处理后,写入专门的测试库,让测试程序直接读取,或者再利用主从复制同步到本地测试环境,可以玩出各种花样。

更多详情请参考手册内容。

最后亲切友情提醒:MySQL企业版下载后只能试用一个月,试用完毕后记得删除卸载哟,土豪的话直接无脑付费即可哟

4. 延伸阅读

enjoy MySQL :)

全文完。

            </div>
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
3月前
|
存储 关系型数据库 分布式数据库
PolarDB产品使用问题之如何查看PolarDB for PostgreSQL的备份信息
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
3月前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用合集之如何实现类似mysql实例中的数据库功能
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
关系型数据库 MySQL 分布式数据库
PolarDB产品使用问题之从MySQL迁移数据到PolarDB-X时,自定义函数不会自动迁移,该怎么办
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
4月前
|
运维 关系型数据库 分布式数据库
PolarDB产品使用问题之数据库如何查看日志
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。
|
5月前
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL版集群版本支持库表恢复功能的版本要求是什么?
【5月更文挑战第13天】PolarDB MySQL版集群版本支持库表恢复功能的版本要求是什么?
40 0
|
5月前
|
关系型数据库 MySQL 分布式数据库
PolarDB MySQL企业版产品系列:满足不同场景需求的解决方案
PolarDB MySQL企业版产品系列:满足不同场景需求的解决方案 在数字化时代,企业对于数据处理的需求越来越多样化,对于数据库的选择也更为谨慎。PolarDB MySQL版为了满足不同场景的需求,提供了单节点、集群版、高压缩引擎(X-Engine)和多主集群(库表)4种不同的产品系列。下面我们将对这4种产品系列进行简要介绍,以帮助您更好地了解它们的特点和适用场景。
176 1
|
SQL 监控 关系型数据库
数据库高效“体检”必备!详解阿里云AnalyticDB MySQL一键诊断功能
AnalyticDB MySQL诊断监控平台则是一套全自研的、从零开始搭建的并紧密贴合分析型系统特征的诊断平台,包含数据的采集(诊断日志和监控数据)、数据缓存(削峰填谷)、清洗转换以及存储等,最终以多种服务形式提供实时的告警、监控、负载洞察、查询分析和诊断等功能。
|
编解码 关系型数据库 MySQL
MySQL企业版之数据脱敏功能
MySQL企业版之数据脱敏功能
244 0
|
关系型数据库 MySQL 测试技术
阿里云数据库PolarDB for MySQL 接口调用指引
介绍使用阿里云OpenAPI调用方式实现对PolarDB数据库的集群管理功能的实现
365 0
阿里云数据库PolarDB for MySQL 接口调用指引
|
存储 SQL 关系型数据库
MySQL--使用通用日志实现数据库审计
MySQL的通用日志会记录数据库中所有执行的sql语句及用户名和ip地址,可以用于数据库审计。
554 0