必备知识:大数据处理应遵循的原则

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

 必备知识:大数据处理应遵循的原则

简约原则

这是牛顿创设的一条“极简主义”的节约规则。在牛顿看来,神奇的自然界在创设过程中选择的简单性和对繁琐的讨厌,使得人类也形成如下观念:“在用很少的东西就能够解决问题的情况下,决不劳力费神和兴师动众”;要始终体现大自然所遵循的简约性、精准性、合理性与有效性。欲达此目的,就需要在云计算或大数据处理中,遵循简约原则,选择有用数据,淘汰无用数据;识别有代表性的本质数据,去除细枝末节或无意义的非本质数据。要能够确识数据之间的巨大差距或差异;要能够鉴别和挑出那些“以一当十”的数据和信息。这种简约原则在大数据的收集、挖掘、算法和实施中的最有效途径,就是对“数据规约”的运用。所谓数据规约就是简化现有的数据集,使得一种小规模的数据就能够产生同样的分析效果。常用的数据规约策略有数据立方体聚集、维规约、数据压缩、数值压缩、离散化和概念分层等,而常用的数据规约方法则主要包含粗糙集、遗传算法、主成分分析、逐步回归分析、公共因素模型分析等。运用这些规约方法,就可以获取可靠数据,减少数据集规模,提高数据抽象程度,提升数据挖掘效率,使之在实际工作中,可以根据需要选用具体的分析数据和合适的处理方法,以达到操作上的简单、简洁、简约和高效。具体地说,当一位认知主体面对收集到的大量数据和一些非结构化的数据对象,如文档、图片、饰品等物件时,不仅需要掌握大数据管理、大数据集成的技术和方法,遵循“简约原则”和“数据集成原则”,学会数据的归档、分析、建模和元数据管理,还需要在大量数据激增的过程中,学会规约、选择、评估和发现某些潜在的本质性变化,包括对新课题、新项目的兴趣和开发。

综观原则

所谓综观,就是对认知对象进行综合性的观察、分析和探索;就是从总体上对认识对象、认识过程和认识结果进行抽象、概括或直觉,并通过具体的信息数据超越那涵盖于总体性中的局部或个别。这种综观既针对构成事物之个体的全部,也针对构成事物的诸要素组成的统一体,以及总体上显现的本质和规律。综观较整体观察更加辩证。它坚持从大处着眼,从总体上去“观其状,求其法,探其道”,以求得解决问题的策略和战略。它坚持整体的具体统一性,凸显认知对象的具体实在性。至于现实中,人们究竟如何对具体的认知对象进行综观,这里需要借助与综观紧密相关的大数据集合的理论与实践。因为大数据集成,既包括对存贮在结构化数据结构中的数据进行移动和集成,也包括对一大部分非结构化数据中的数据进行移动、调节和集成。比如面对复杂的信息和数据,人们就可以将“云架构、实时数据集成、数据虚拟化、数据集成建模”等先进技术用到具体问题的解决中,使用一种根据大数据制作的“可预测模型描述语言”(pmml),为其提供一种快速简便的程序和模型。此时,通过使用标准的xml(可扩展标记语言)解析器对pmml进行解析,应用程序就能够决定模型输入和输出的数据类型,及模型的详细格式,并会按照标准的数据挖掘术语来解释模型的结果。通过对大数据的综观、模型化和虚拟化,可以做到花最小气力,获最大效益。特别是数据虚拟化,不仅可以为数据使用者提供极具真实性、完整性和精准性的“实时集成的数据视图”,还可以将来自不同数源的数据信息整合为一,并转化成使用者所需要的图式和模型。因为有些对象,绝不是仅仅用数字就可以解释和认知的,比如人类复杂多变的面部表情,就很难用单纯的数据给予精确表达,只有通过数据集成、智能技术和虚拟技术将大数据虚拟化,使反映认知或实践对象的海量信息和数据,变成一种实时图像或视频供主体观察研究,他们才可能从中获得相关的认识、结论和决策。

解释原则

尽管数据集成、数据建模、云计算和数据虚拟化是大数据处理的一些主要形式,能够给认知主体以质、量和度等多方面的总体性的形象和认识,但面对“不能言语”的具体的数字、信息、图像和虚拟视频,还是需要认知主体进行能动的和创造性的解读与阐释。这不只因为包括数字、数码、文字和一切符号在内的语言“是存在的故乡”,即要认识客体或对象,总是需要利用语言给予建构、包装、说明和解释,还因为一切语言自身所拥有的价值和意义,也需要使用它和阅读它的主体所“赠予”。换句话说,这些摆在人们面前的大数据,究竟表达什么或意味什么,很大程度上,并不取决于由数据信息自身所标明的“客观实在性”,而是主要取决于认知主体对其解读时所拥有的整体上的解释力、构建力和知解力,取决于由数据构架起来的理论形态和实践目的。因为只有通过人的感悟、觉识、分析、推理、判断和阐释才能够赋予数据和信息以多重的或异乎寻常的结构和意义,才能够由表及里,揭示出深藏于内的隐蔽之物;进而通过各种解释之间的矛盾和冲突,获悉被解释的存在和本质。

智慧原则

尽管信息革命将人类带进大数据的春天,而且使越来越多的人确信“数据多多益善,即数据越多,分析越深入,所得的结论就越全面”,但面对“僵死的数据”,要想点石成金,还需依赖于人的智慧和学识。为此,在大数据处理过程中,真正的智者既要兼具数据分析、机器学习、数据挖掘以及数据统计的能力,也要具备应用算法和编写代码的经验。尤其是面对琳琅满目的大数据,不仅要关注海量数据的多样性、差异性、精确性和实效性,否则缺少其中任何一个性能,都可能使所获数据达不到预期的效果和目标;还要全面深入地挖掘各种类型的数据,并在此基础上运用数据建模和数据算法在不同的数据集成中分析不同的假设情境,建构不同的可视化图像,进而揭示数据集成的变化及其产生的效用。特别是今天,面对激烈的社会竞争,必须不断寻找新的数据处理方法,不断加快数据处理速度。要意识到各种数据都并非生而就有价值,只有通过主体智慧的挖掘,才能将其变为现实。

此外,还要善于从数据集成、数据建模和数据虚拟化中发现和解决问题;提升自己观察、思考、批判和扬弃的能力;锤炼自己的理性思维和逻辑思维;培养自己统筹决策、高瞻远瞩、见微知著的预见力和洞察力。当然,在大数据时代更需要掌握对已有的数据模型进行精练,以及利用新的训练数据对原有内容和规则集进行修改、操作和运行的技艺。在此过程中,要尽可能做到思想活跃,思维清晰,头脑开放,认识深远,能够不失时机地打破陈规旧套,抓住新机遇,尝试新途径,开辟新天地,以多元智能的理念来认知和实践,以便在大数据处理中,既不忽略任何一个未经深度分析的数据,也不丢弃任何一个异常数据。在许多情况下,异常数据往往比常规数据更有价值。这样,也就自然地要求认知主体工作上缜密细心,时时关注事件的每一个细节与数据,真正做到明察秋毫、细心研制,直至收获完美的认识和成功的实践。


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
3月前
|
SQL 分布式计算 大数据
大数据开发SQL代码编码原则和规范
这段SQL编码原则强调代码的功能完整性、清晰度、执行效率及可读性,通过统一关键词大小写、缩进量以及禁止使用模糊操作如select *等手段提升代码质量。此外,SQL编码规范还详细规定了代码头部信息、字段与子句排列、运算符前后间隔、CASE语句编写、查询嵌套、表别名定义以及SQL注释的具体要求,确保代码的一致性和维护性。
111 0
|
人工智能 网络协议 大数据
大数据产业博览会上提出了“人工智能103.36.166伦理杭州BGP四原则”
大数据产业博览会上提出了“人工智能103.36.166伦理杭州BGP四原则”
|
数据采集 存储 监控
大数据治理系列:1 谈谈大数据治理的核心原则
当业务和IT专业人员第一次谈到大数据治理的时,许多人对大数据治理的复杂性感到不知所措。系统的数量和相互竞争的业务日程将如此多的变量混杂在一起,以至于手头的任务似乎无法管理。
大数据治理系列:1 谈谈大数据治理的核心原则
|
分布式计算 安全 大数据
大数据应用开发八大基本原则
<p style="margin-top: 0px; margin-bottom: 0px; padding-top: 0px; padding-bottom: 0px; color: rgb(85, 85, 85); font-family: 'microsoft yahei'; font-size: 15px; line-height: 35px;"><strong>大数据应用正在从概念走
2048 0
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
290 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
44 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
下一篇
DataWorks