发展趋势:大数据时代的块数据思维

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

块数据是通过数据与人的互动、关联和融合,实现数据与人、物、事关系的重构,实现超越资源禀赋的新的价值整合,最终形成全新的价值链体系。

——摘自《块数据2.0》

《块数据2.0》是“国家大数据(贵州)综合试验区”获批后,大数据战略重点实验室在《块数据:大数据时代真正到来的标志》一书基础上,关于大数据理论研究的最新成果。

《块数据2.0》以国家大数据综合试验区建设为背景,从国家战略高度,对从大数据到块数据的基本原理进行了深入研究,回答了为什么要形成块数据以及怎么做的问题,首次提出大数据时代的范式革命这一全新命题。

数据资源共享开放是贵州大数据综合试验区建设的首个试验项目。《块数据2.0》对大规模、深层次的数据资源共享开放进行了深入研究,首次运用数据引力波的概念揭示出从条数据到块数据发展的内在规律,强调块数据作为高度关联的各类数据在特定平台上的持续聚合,其价值在于海量和关联,而通过大量的数据或数据引力场快速碰撞、相互融合,实现聚合、裂变,产生新的价值关联,并释放巨大数据能量。

■释义——

如何理解块数据?

目前,人们所讨论的的大数据几乎都是条数据。条数据是指某个行业或领域呈链条状串起来的数据。人类生活、生产产出的大数据,无论是搜索引擎、电商、社交平台形成的企业大数据,还是天气预报等形成的科学大数据,还是各政府部门形成的行业大数据,都可以定义为“条数据”。这类大数据彼此割裂、互不融通,呈现出一种“混沌”的状态,限制了大数据在经济社会中发挥作用。

与之相比,块数据是在一个物理空间或者行政区域形成的涉及到人、事、物等各类数据的综合,相当于将各类“条数据”解构、交叉、融合。在块数据集合过程中,包含了数据空间的填充、空间数据的重构、集合过程的组构,及组构过程中的集合,同时还有新数据的汇集和原有数据组合后的衍生数据。

举例来说,一个百货商场每天都会卖出很多商品,卖出商品的数量、种类、原材料、品牌设计、广告营销等数据,将所有在商场这个物理空间产生的数据求和,得到的就是块数据。而一个数据的变化会带动其他数据发生改变,比如,当商场的影院播放一部聚集人气的影片时,商场的其他产品销量也会上升,这一过程又会衍生出新的数据,随时随地更新的数据能使我们对商场的状况有更精准的把握,进而拿出更具针对性的解决方案。

块数据的价值就在于通过对块数据的挖掘、分析,实现对事物规律的精准定位,甚至能够发现以往未能发现的新规律。通过块数据让以往的“数据孤岛”连成一片,再通过对不同类型、来源信息的集成、挖掘、清洗,极大地改变信息的生产、传播、加工和组织方式,对大数据的挖掘变得精准,这给创新发展带来新的驱动力,将会推动产业彻底变革和再造。可以毫不夸张地说,在这个时代,得“块”者得天下。以往很多数据价值的外部性难题,将可以通过块数据以市场化和行政化手段得到解决。

■畅想——

块数据如何推动政府工作?

在块数据思维的引领下,政府既有行为将会发生巨大转变。对政府内部机构来说,块数据可以打破壁垒,连接孤岛,通过信息共享、工作联动的方式推动工作的有效开展。对公众来说,随着数据公开的常态化,社会公众对政府的日常运作的监督也将更有效。同时,块数据的应用可以让政府决策更具科学性和前瞻性,打造智慧政府和法制政府成为可能。

比如,运用块数据,政府可以根据个人的不同情况,以定制化的方式让公众得到更好的服务,使公共管理领域真正实现高效。而一些长期以来难以解决的问题比如环境污染、食品安全等都可以通过块数据的公开倒逼责任主体执行改革,政府工作模式从以往的单纯结果导向向结果和过程导向同时并重转变。

这些都表明,在块数据的推动下,政府职能也会发生深刻改变,具体表现在模式、服务、规则的不断升级和优化。

■案例——

以块数据为突破

贵阳大数据赢在起跑线上

块数据是大数据时代真正到来的标志。如果把大数据发展比喻为一场竞赛,贵州可以说已经“赢在起跑线上”。

——大数据战略重点实验室主任、《块数据2.0》总编辑连玉明

在破解数据共享的难题上,贵阳已走在了前面,以“块数据”突围,整合打通从政府层面到各个行业层面的数据,贵阳将更好地拥抱“互联网+”时代。

——阿里巴巴集团副总裁、阿里研究院院长高红冰

不到两年时间,贵州省贵阳市已经奇迹般地创造出5个“中国第一”,即中国首个大数据战略重点实验室、中国首个全域公共免费WIFI城市、中国首个块上集聚的大数据公共平台、中国首个政府数据开放示范城市和中国首个大数据交易所。工信部批复贵州省创建全国第一个国家级贵阳市贵安大数据产业发展集聚区,标志着“中国数谷”在贵阳正式落户。

与国内其他努力跻身这一浪潮的城市相比,高红冰认为贵阳最大的特征是“块数据”的提出。

数据是“互联网+”的基础,只要有互联网的应用,就会产生海量的数据。过去,在行业之间、政府各个部门之间,数据都是封闭的,难以共享。贵阳提出“块数据”概念,把一个地区涉及商业、农业、民政、医疗等不同领域的经济和公众数据进行汇集、聚合、打通,形成一个共享、开放的“块数据”池。

“‘互联网+’时代,并不是互联网行业与其他行业单纯相加,而是将互联网思维、技术等,与金融业、传媒业、旅游业、制造业等各行各业进行融合创新,产生增量经济,共同构建一个新的空间甚至更大量级的新业态。”高红冰举例,过去金融业更多服务于大工业、大企业,但在互联网经济的场景下,它延伸服务到小微企业,贴近每一个消费者。

高红冰认为,政府要实现“互联网+”、“大数据+”、“电子商务+”,尽享数据时代的高效便利,需要做到以下两点:首先是营造环境,把传统滞后的环境营造成一个由大量互联网思维、技术、人才聚集的环境,减少对创新主体的约束,围绕新业态的发展制定新规则和新政策。其次是引进人才,政府要考虑如何把创新领域的先进人才吸引过来。


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
303 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
47 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
55 3
|
26天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
63 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
24 4
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
58 3
|
1月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
67 2