《大数据原理:复杂信息的准备、共享和分析》一一2.8 去标识化

简介: 本节书摘来自华章出版社《大数据原理:复杂信息的准备、共享和分析》一 书中的第2章,第2.8节,作者:[美] 朱尔斯 J. 伯曼(Jules J. Berman)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.8 去标识化
去标识化是去除数据中可能连接该数据对象的公共名称的信息的过程。在病人记录这个案例里,去标识化就是将那些会让人联系到病人名字的信息从记录中去除的过程,这样做的目的显而易见。事实上,还有其他信息也需要去除,如病人的联系地址、出生日期和社会安全号码。在美国,病人隐私条例里详细讨论了病人记录去标识化的问题,并建议把18条记录条目排除在去标识化之外。33
在进一步讨论去标识化之前,必须认识到去标识化不是简单地从数据对象中移除标识符。事实上,粗暴地将数据对象里的标识符移除并不明智,会导致数据对象毫无用处,因为,无论是标识化的还是去标识化的数据对象都需要有至少一个标识符。正如在前面的章节中讨论的那样,标识符可以由单向哈希函数值代替,以保证数据记录的唯一性。去标识化需要移除那些可能会公开数据对象名称的信息,这类信息通常指识别信息,但也可能是那些与名称关联的信息。所以,我们不要把数据对象的标识符同数据对象中与其公共名称关联的信息相混淆。
这似乎违背了我们的直觉,但标识符与去标识化的标识符差别很小,在某些情况下,两者等价。下面是双标识/去标识系统可能的工作方式:
1.收集数据:“Joe Fergusons bank account contains $100.”
2.分配标识符:“Joe Fergusons bank account is 7540038947134.”
3.用标识符取代对象名称:“7540038947134 contains $100.”
4.一直使用这个阿拉伯数字标识符。
5.不让任何人知道Joe Ferguson拥有账号7540038947134。
标识符/去标识化的标识符的双重使用是一种可靠的技术。瑞士银行账户基本上给每个人分配唯一的账号(标识符),你可以通过标识符访问银行账户,标识符不会泄露任何银行账户所有者的身份信息,即它是去标识化的。
标识符的意义告诉你:遇到这个标识符表示它指向同一个对象,而如果遇到两个不同的标识符那一定是指向两个不同的对象。而标识符自身不会包含与其公共名称关联的信息。
理解去标识化过程仅在数据记录合理标识化的前提下才能成功是非常重要的,没有标识化就谈不上去标识化。强行对标识程度不高的临床信息数据集去标识化,会导致数据记录出现重复、混乱和遗失等情况。
把去标识化过程看成是响应数据分析师查询消息的一个联机算法最为合适,下面给出一个算法流程:
1.数据分析师提出一条大数据资源查询请求,这个资源包含一些不可共享的敏感信息,除非去标识化了。
2.大数据资源收到查询请求,检索出记录。
3.对检索出的记录进行解析,且记录中所有敏感信息都被删除,所谓的敏感信息大致包括前面提到的姓名、地址、出生日期、社会安全号码等。
4.准备好伪标识序列。伪标识序列有可能由随机生成器产生,也有可能由原始标识加密而成,又或者是通过单向哈希算法或其他算法生成。
5.原始记录上被附加了一条事务记录(即查询请求),包括伪标识序列、去标识化记录、事务发生时间以及其他任何与请求实体相关的信息。
6.一条记录发送给数据分析师,这条记录由去标识化的记录及其唯一伪标识符组成。
由于去标识化的记录及其唯一伪标识符存储在原始记录中,因此,当数据分析师后续对这条记录发出其他请求时,无需重新计算即可得到同样的反馈。这种常用的数据去标识化方法一般用于对单个记录或百万条记录的操作请求。
现在,你大概会问:“为什么数据管理员有分配保密记录的权利,即使记录已经被去标识化?”这就好像你告诉别人一个秘密,并告诉他不要说出去,你当然不希望有第三个人知晓这个秘密的任何内容。同样,分享已去标识化的机密信息是荒诞且难以让人接受的。
我们会在第13章和第14章中讨论大数据的合法问题和道德问题。而这里,读者需要知道的是,有一些易懂、简洁的原理可以证明分享去标识化的数据的可行性。
再看看这句话:“Jules Berman has a blood glucose level of 85.(Jules Berman的血糖水平是85。)”这可以称得上保密记录,因为,这句话告诉了别人Jules Berman的身体情况。如果只是短语“glucose level 85”,即删除了人名,这时该短语就只是没有主体的数据了,与“Temperature 98.6”“Apples 2”“Terminator 3”无异,仅是一些不属于特定主体的原始数据。
通过将某个人或数据对象的信息转变为不属于特定对象的信息,去标识化使得数据无害。基于此,美国法规允许无限制地使用这些无害数据进行科学研究。33,34其他一些国家也有类似规定。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
12月前
|
存储 分布式计算 大数据
基于Python大数据的的电商用户行为分析系统
本系统基于Django、Scrapy与Hadoop技术,构建电商用户行为分析平台。通过爬取与处理海量用户数据,实现行为追踪、偏好分析与个性化推荐,助力企业提升营销精准度与用户体验,推动电商智能化发展。
|
存储 SQL 分布式计算
终于!大数据分析不用再“又要快又要省钱”二选一了!Dataphin新功能太香了!
Dataphin推出查询加速新功能,支持用StarRocks等引擎直连MaxCompute或Hadoop查原始数据,无需同步、秒级响应。数据只存一份,省成本、提效率,权限统一管理,打破“又要快又要省”的不可能三角,助力企业实现分析自由。
622 49
|
存储 SQL 分布式计算
MaxCompute 聚簇优化推荐原理
基于历史查询智能推荐Clustered表,显著降低计算成本,提升数仓性能。
656 4
MaxCompute 聚簇优化推荐原理
|
12月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的台风灾害分析及预测系统
针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。
|
12月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
数据采集 数据可视化 关系型数据库
基于python大数据的电影数据可视化分析系统
电影分析与可视化平台顺应电影产业数字化趋势,整合大数据处理、人工智能与Web技术,实现电影数据的采集、分析与可视化展示。平台支持票房、评分、观众行为等多维度分析,助力行业洞察与决策,同时提供互动界面,增强观众对电影文化的理解。技术上依托Python、MySQL、Flask、HTML等构建,融合数据采集与AI分析,提升电影行业的数据应用能力。
|
传感器 人工智能 监控
拔俗多模态跨尺度大数据AI分析平台:让复杂数据“开口说话”的智能引擎
在数字化时代,多模态跨尺度大数据AI分析平台应运而生,打破数据孤岛,融合图像、文本、视频等多源信息,贯通微观与宏观尺度,实现智能诊断、预测与决策,广泛应用于医疗、制造、金融等领域,推动AI从“看懂”到“会思考”的跃迁。
921 0
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
769 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
532 4