《大数据原理:复杂信息的准备、共享和分析》一一2.10 重标识

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 本节书摘来自华章出版社《大数据原理:复杂信息的准备、共享和分析》一 书中的第2章,第2.10节,作者:[美] 朱尔斯 J. 伯曼(Jules J. Berman)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.10 重标识
对于科学家而言,去标识化有两个目的:
1.保护数据的保密性和个人隐私。
2.删除可能影响实验的信息。
保密性和隐私问题一直是以人为主题的数据需要面对的问题,而且分析数据时的实验误差总会存在,故而去标识化不可逆转势在必行。
科研诚信往往会与不可逆转的去标识化相冲突。有时多个实验样本数据会混在一起,有时会弄错样本数据源。而一旦样本数据出现差错,那么一些科学发现也许就不成立,需要被驳回37-41。除此之外,数据有时也会因为不合理的收集过程导致科研诚信受到质疑。举个例子,插反电极生成的心电图可能会带来虚假的、误导性的结果。上面这些是无意的科研不诚信,但有的时候,一些不诚实的科学家会故意捏造或破坏原始样本数据,以达到他个人的实验意图。无论何种原因造成的数据出错,收回已发表的论文很重要42,43。为了保证科研诚信,在某些情况下有必要对去标识化的数据重新进行标识。
在一些情况下,去标识化使得数据分析师无法帮助那些保密性已受到保护的个人。假设你正在利用收集来的去标识化数据进行分析,并发现病人的某种基因标记代表了一种疾病,如果早期进行治疗可以治愈;或者你发现了一种新的生物标记,可以决定哪些病人适合手术哪些不适合。这时,你不得不联系数据库里的病人,告知他们可以挽救他们生命的信息。然而,去标识化了的数据不会向你提供病人的身份信息,而且没人知道。
在严格控制的环境下,去标识化记录可以被重新标识。重标识通常是通过委托第三方来实现,第三方保有一份保密清单,这份清单将去标识化的记录与个人信息进行了一一对应。显然,只有在大数据资源保留了数据记录标识符与对应的去标识化记录标识符的连接关系,重标识才能够实现。为去标识化的记录分配公共名称需要在严格的监督下进行。数据管理人员必须建立一个协议,描述获准重标识的过程。重标识有可能导致保密性受到破坏,人类受到伤害,因此,如何管理重标识过程将是大数据管理人员最沉重的责任之一。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
13天前
|
SQL 分布式计算 数据挖掘
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
|
10天前
|
数据采集 机器学习/深度学习 数据可视化
探索大数据分析的无限可能:R语言的应用与实践
探索大数据分析的无限可能:R语言的应用与实践
50 9
|
16天前
|
机器学习/深度学习 数据采集 分布式计算
大数据分析中的机器学习基础:从原理到实践
大数据分析中的机器学习基础:从原理到实践
56 3
|
2月前
|
数据采集 存储 机器学习/深度学习
数据的秘密:如何用大数据分析挖掘商业价值
数据的秘密:如何用大数据分析挖掘商业价值
68 9
|
3月前
|
机器学习/深度学习 数据可视化 大数据
机器学习与大数据分析的结合:智能决策的新引擎
机器学习与大数据分析的结合:智能决策的新引擎
325 15
|
3月前
|
SQL 分布式计算 DataWorks
DataWorks产品测评|基于DataWorks和MaxCompute产品组合实现用户画像分析
本文介绍了如何使用DataWorks和MaxCompute产品组合实现用户画像分析。首先,通过阿里云官网开通DataWorks服务并创建资源组,接着创建MaxCompute项目和数据源。随后,利用DataWorks的数据集成和数据开发模块,将业务数据同步至MaxCompute,并通过ODPS SQL完成用户画像的数据加工,最终将结果写入`ads_user_info_1d`表。文章详细记录了每一步的操作过程,包括任务开发、运行、运维操作和资源释放,帮助读者顺利完成用户画像分析。此外,还指出了文档中的一些不一致之处,并提供了相应的解决方法。
|
3月前
|
分布式计算 DataWorks 搜索推荐
用户画像分析(MaxCompute简化版)
通过本教程,您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析,并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。
|
2月前
|
SQL 数据可视化 大数据
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
258 92
|
4月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
993 7
|
4月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
139 2