个保法下的数据中台建设(二):数据去标识化与匿名化(加解密方案)
在上一篇文章 个保法下的数据中台建设(一):《个人信息保护法》解读 中,我们整体解读了下《个人信息保护法》,从该篇文章开始,我们聚焦在具体的领域中解决企业数据安全落地中的问题。
本文重点介绍:
1、去标识化的方案,如遮盖脱敏、哈希脱敏、加密解密等;
2、去标识化的场景,如数据集成、数据开发等;
3、利用Dataphin实现去标识化的方案
基于dataX实现多种数据源数据汇聚(二)
上一篇文章提到在数据中台项目实践过程中,基于dataX实现数据汇聚的一些使用心得,在众多项目中,发现一个趋势,国产数据库的发展趋势,越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下:
1、达梦
2、人大金仓(后续补充)
3、南大通用(后续补充)
DataX 实现 MySQL 数据,高效同步(一)
或者我们公司将项目的数据报告并存储到最高五,但是因为那块数据准确,业务库和报告库又是库操作,所以不能同时使用 SQL 来进行。当时的打算是mysqldump通过的方式来进行同步,但尝试后发现这些方案都不切实际
ETL与ELT中数据质量的最佳实践
几十年来,企业数据集成项目在数据处理、集成和存储需求上都严重依赖传统的ETL。如今,来自不同来源的大数据和非结构化数据的出现,使得基于云的ELT解决方案变得更加流行。