大数据时代的特征和思维

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

简介|宣晓华是华院数据技术(上海)有限公司创始人和董事长,也曾参与创办易保网络技术有限公司兼技术顾问;曾在美国加州惠普公司从事七年多的建模/仿真的算法研究和大型软件开发;宣晓华是美国加州大学伯克利分校数学博士,中国工业和应用数学协会理事,上海分会副理事长。



随着信息技术的发展和应用, 人类进入了一个大数据时代。大数据时代和我们以前的时代有什么不同? 什么又是大数据时代的特征,和应具备的思维呢? 维克多·舍恩伯格在《大数据时代》一书中将大数据时代人类的思维革命总结成三个:不是随机样本,而是所有数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。基于我个人的观察和思考, 我认为大数据时代有三大特征和需具备的思维。 它们分别是:万物皆数化特征与量化互联思维,数据价值化特征与价值思维,世界智能化特征与智慧思维。


万物皆数化特征与量化互联思维


“万物皆数”是毕达格拉斯学派2000多前的一句名言。在过去的2000多年里,人们尝试用数字来量化客观世界,并以此为基础探索并认知世界。 随着上世纪计算机的出现和随后信息化迅猛的发展, 尤其是互联网、移动互联网、物联网的深度普及和广泛应用,我们似乎真正进入了一个“万物皆数化” 的时代:从宏观到微观,从客观到主观,从具象到抽象,一切活动和动力,直接或间接,都在被全面、实时地记录,成为数字化的信息,“万物皆数化”成为大数据时代的第一个显著特征。


“要么数字化,要么死亡。”(孙正义前不久对日本企业界说) 数字信息已经成为时代发展的趋势和代表。数化特征带来的第一个思维就是量化思维,“量化”就是用一种共性的语言来描述,标识和解释世界。因此,需要充分应用最新的技术手段,对全领域、全过程的各种信息进行定量采集、定量分析挖掘、定量描述;共性的量化使得各种信息之间的互通成为可能,打通物与物之间、物与人之间、人与人之间、人与活动之间,活动与活动之间全领域、全过程的信息,协同并整合所有片段信息,形成多维的完整的数据链,这就是“互联思维”。在量化和互联的基础上,建立实用的分析方法和数据科学,才能更好实现有价值的数据应用。


数据价值化特征与价值思维


大数据时代第二个特征“数据价值化”。数据创造价值并非这几年才开始。从上世纪50年代开始的信用卡评分、到数据挖掘领域最经典的啤酒和尿布的故事,都曾经是企业利用数据创造价值的典型应用案例。在大数据时代,由于万物的量化及互联,数据已渗透到不同行业的各个维度,其多维性和完整性左右并影响了各维度的发展和决策,数据的重要性由此凸显,这就是数据的价值化特征。麦肯锡全球研究报告指出,“数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长浪潮的到来。”基于数据价值化的特征,价值思维的运营被广泛应用。同时,数据的价值在大数据时代已然超越了提升生产效率的基础定位,上升成为战略资产、生产资料以及合作资源, 甚至成为国家竞争力的构成要素。在过去几年,很多企业都提供免费服务,尤其是互联网企业,它们的商业模式正是基于数据价值的思维,数据就是价值。但是随着数据的越来越普及,获取数据的渠道日益增多,数据的价值不仅仅只体现在数据的获取上,更体现在数据的深度认知,解析和运营上。数据价值的呈现将基于更多创造性的方式。


世界智能化特征与智慧(社会)思维


基于上述的特征,人类对各种物体以及现象的认知越来越深入,(包括人类自身的需要),基于大数据的各种应用出现了智能化的特征。从智能搜索,智能推荐营销,到各种智能服务如自动导航,自动驾驶,智能家居等大量应用,将使得基于数据的智能不断进化。智慧城市的推动,也是希望利用大数据对民生、环保、公共安全、城市服务、工商业活动等各种需求做出智能响应。我们相信,各种智能机器人也将在不久的将来大量出现,在各领域服务于人类。世界智能化将是大数据时代的第三个特征。


大数据的广泛应用在产生积极影响的同时,也产生了问题,如:隐私权、数据安全,数据所有权等。基于大数据不断发展的智能机器人也给世界带来不确定性,如何处理人和机器人之间的关系将是未来一个重要的命题。这些问题和不确定性,需要个人,企业和国家对大数据的应用有很好的意愿,规则,协同,利他共赢的智慧。智慧(社会)思维,是应用大数据在更好的服务人类的过程中,必须具备的一种社会思维。


简而言之,在大数据时代,智能和智慧化是目标和愿景, 价值化是手段, 数字化是基础。 而“大数据”实际上是一种思维和方法:它是一种基于数据量化和互联,通过数据分析,挖掘,应用, 以达到整个世界高度智能化甚至智慧化的思维和方法。


(根据在2015.1.15号的“大数据和产业发展”会议上的演讲整理, 感谢许荻枫女士在此基础上的提炼)



机构简介

华院数据是国内最早的跨行业数据挖掘和大数据分析技术和应用公司,为金融,电信,电商/零售,医疗/健康,文化/时尚,工业/制造,智慧城市,精确营销和风险管理等行业和领域提供大数据应用解决方案。 同时华院数据也是大数据领域的深度孵化组织, 已成功孵化华院分析, 数云, 数创, 数尊等10余家垂直行业或领域大数据企业。华院数据是中关村大数据联盟企业之一。


原文发布时间为:2015-07-26

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
3月前
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
176 0
|
7月前
|
分布式计算 大数据 数据处理
从Excel到大数据:别让工具限制你的思维!
从Excel到大数据:别让工具限制你的思维!
276 85
|
数据可视化 大数据 数据挖掘
2022-11-28-大数据可视化“可视化国产/进口电影票房榜单”分析,特征维度大于50(一)
2022-11-28-大数据可视化“可视化国产/进口电影票房榜单”分析,特征维度大于50
259 0
|
数据可视化 大数据
2022-11-28-大数据可视化“可视化国产/进口电影票房榜单”分析,特征维度大于50(二)
2022-11-28-大数据可视化“可视化国产/进口电影票房榜单”分析,特征维度大于50
220 0
|
传感器 大数据 物联网
大数据类型与特征
【4月更文挑战第9天】大数据包含交易、人为、移动及机器传感器数据,特征表现为大量、高速、多样、可变、真实、复杂和有价值。它影响商业决策、市场分析和科学研究,展现巨大潜力。
413 3
|
存储 机器学习/深度学习 人工智能
【数据库技术基础】大数据的特征
【数据库技术基础】大数据的特征
269 1
|
存储 算法 数据可视化
大数据思维|学习笔记
快速学习大数据思维
541 0
大数据思维|学习笔记
|
机器学习/深度学习 存储 人工智能
被神话的大数据——从大数据(big data)到深度数据(deep data)思维转变
自从阿法狗战胜人类顶级棋手之后,深度学习、人工智能变得再一次火热起来,但有一个基本的误解是更大的数据会产生更好的机器学习结果。然而,更大的数据池/仓库并不一定有助于模型学习到更深刻的见解。正确的答案是?
2199 2
|
大数据
常州大学阿里云大数据学院举行“创新思维”课程答辩
创新思维新生研讨课是常州大学校企联合培养学生的第一次课程,课程通过基础概念、实际案例、设计创新等全方位学习方式,夯实学生的理论基础并提高实践能力,扎实推进嵌入式培养成果,更好做好校企联合培养工作,助力大数据产业的持续蓬勃发展。
2446 0
|
物联网 大数据
工业大数据的特征
简要描述工业领域的大数据特征。
2193 0

热门文章

最新文章