《大数据原理:复杂信息的准备、共享和分析》一一2.2 标识符系统的特征

简介: 本节书摘来自华章出版社《大数据原理:复杂信息的准备、共享和分析》一 书中的第2章,第2.2节,作者:[美] 朱尔斯 J. 伯曼(Jules J. Berman)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2 标识符系统的特征
对象标识符是与对象相关联的字母数字字符串。对于很多大数据资源,人是最受关注的数据管理对象。一个原因是,许多大数据资源被用来存储和检索个人有关信息。另一个原因是数据管理的当务之急是以绝对的确定性建立涉及人类重要信息的标识符(例如,银行交易、输血记录等)。我们会看到,在有关不变性的讨论中(见第6章),有充足的理由存储大数据资源中数据对象包含的全部信息,以及提供每个数据对象的标识符(见术语表,Immutability,Mutability)。因此,数据管理的重要任务之一就是建立一个可靠的标识系统23。
一个好的标识符系统具备如下特征:
1.完整性。每个数据对象必须指定一个标识符。
2.唯一性。每个标识符都是唯一的序列。
3.排他性。每个标识符只分配给一个唯一的对象,而不是没有其他对象。
4.真实性。接受标识的对象必须验证为就是计划被标识的对象。例如,如果一个年轻人走进一家银行,并声称自己是Richie Rich,那么银行必须确保他是,事实上,他说他是谁不管用。
5.聚合性。大数据资源必须有一个机制来聚合所有与标识符相关的数据(即捆绑所有属于唯一标识对象的数据)。在银行,这可能意味着收集所有与账户相关联的交易。在医院,这可能意味着收集所有与病人的标识符相关联的数据:就诊报告、用药情况、外科手术和化验结果。如果标识符系统执行适当,聚合方法将始终收集所有与某个对象相关联的数据,并且绝不会收集与不同对象相关联的任何数据。
6.永久性。标识符和相关联的数据必须是永久保存的。在医院系统中,当消失30年的患者返回医院,该记录系统必须能够访问他的标识符和相关数据。如果患者死亡,患者的标识符也不能消失。
7.协调性。应当有一种多个大数据资源的同一个数据对象的合并机制。这个过程被称为调谐,需要实施比较、验证和合并。医疗记录的可移植性需要调谐,当病人到医院就诊,可能需要从其他医院调用她的电子医疗记录(见术语表,Ectronic medical record)。两家医院需要确认病人的身份,并合并医疗记录。
8.不变性。标识符除了具有永久性之外(即从来没有被破坏或丢失),还必须永远不会改变(见第6章)24。倘若两大数据资源合并,或将遗留数据合并到一个大数据资源,或对两个不同的大数据资源的个别数据对象合并,每个数据对象会有两个数据资源分配的标识符。在这种情况下,两个标识符必须毫无修改地都被保留下来。合并后的数据对象必须有注释性信息,提供每个标识符的确切起源(即说明该标识符是来自哪个大数据资源)。
9.安全性。标识系统很容易受到恶意攻击。如果标识符被篡改,大数据资源会出现不可逆的损坏。在关于人的标识系统中,被盗标识符可用于多种针对个人的恶意活动。
10.文档和质量保证。应当有发现和改正病人识别系统的错误的系统。必须编写用于建立标识系统、分配标识符、保护系统和监视系统的协议。遇到的每个问题和采取的每个纠正措施都必须记录在案并通过检验。检验程序应当确定纠正措施是否有效,并保证标识系统性能的持续监控。所有检验程序、采取的行动以及所有系统修改情况都应当有详细的记录,这是一个大工程。
11.向心性。判断信息系统是属于一家储蓄银行、一家航空公司、监狱系统或一家医院,标识符发挥核心作用。你可以将信息系统看作标识符与数据连接的桥梁。例如,在医院信息系统里,病人的标识符是连接病人每次医疗记录的密钥。
12.自主权。标识系统有它独立于大数据资源的生命周期。即使大数据的所有数据资源突然消失(即所有的数据中包含的所有数据对象被删除),标识系统还可以持续运转下去,记录和整理现有的和未来的数据对象。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
24天前
|
存储 大数据 数据处理
PHP 与大数据:构建高效数据处理系统
传统的数据处理系统往往难以应对大规模数据的处理需求,而PHP作为一种常用的服务器端脚本语言,在数据处理方面也有其独特的优势。本文将探讨如何利用PHP构建高效的大数据处理系统,结合实际案例分析其应用场景及优势所在。
15 2
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
2月前
|
SQL 存储 分布式计算
maxcompute配置问题之配置mc内容如何解决
MaxCompute配置是指在使用阿里云MaxCompute服务时对项目设置、计算资源、存储空间等进行的各项调整;本合集将提供MaxCompute配置的指南和建议,帮助用户根据数据处理需求优化其MaxCompute环境。
31 1
|
14天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
38 0
|
27天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
1月前
|
存储 分布式计算 大数据
现代化数据库技术——面向大数据的分布式存储系统
传统的关系型数据库在面对大规模数据处理时遇到了诸多挑战,而面向大数据的分布式存储系统应运而生。本文将深入探讨现代化数据库技术中的分布式存储系统,包括其优势、工作原理以及在大数据领域的应用。