切实把握大数据时代的新机遇新变革

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

大数据时代正在来临。被称为21世纪的石油和金矿的大数据,成为一个国家提升综合竞争力的又一关键资源。在新的数字世界当中,数据成为最宝贵的生产要素,顺应趋势、积极谋变的国家和企业将乘势崛起,成为新的领军者;无动于衷、墨守成规的组织将逐渐被边缘化,失去竞争的活力和动力。对于进入新常态的我国而言,大数据在经济社会发展中的基础性、战略性、先导性地位将越来越突出。唯有把握机遇,顺应形势,按照建设制造强国和网络强国的战略部署,加强信息基础设施建设,提升信息产业支撑能力,构建完善以数据为核心的大数据产业链,才能真正将大数据打造成新常态下经济提质增效升级的新引擎,为经济发展和社会进步提供更加有力的支撑。

缘起

当今世界正在经历一场伟大的“数据革命”,迎来快速发展、充满变革的“大数据”时代。互联网、物联网、云计算、智慧城市、智慧地球正在使数据沿着“摩尔定律”飞速增长,一个与物理空间平行的数字空间正在形成。大数据正在开启一个崭新时代。大数据时代有什么本质特征?大数据带来的机遇是什么,变革又是哪些?中国需要怎样的战略反应才能抓住大数据带来的宝贵机遇?这一系列问题亟待研究者给出深入解析。

(一)大数据重塑了企业的发展战略和转型方向,不仅是推动经济转型发展的新动力,成为打造国家竞争优势的新机遇,更是人类认识世界和改造世界能力的一次升华。“数据驱动发展”是时代大势所趋

如今,大数据已经被赋予多重战略含义。从资源的角度,数据被视为“未来的石油”,作为战略性资产进行管理;从国家治理角度,大数据被用来提升治理效率、重构治理模式、破解治理难题,它将掀起一场国家治理革命;从经济增长角度,大数据是全球经济低迷环境下的产业亮点,是战略新兴产业的最活跃部分;从国家安全角度,全球数据空间没有国界边疆,大数据能力成为大国之间博弈和较量的利器。总之,国家竞争焦点将从资本、土地、人口、资源转向数据空间,全球竞争版图将分成新的两大阵营:数据强国与数据弱国。

宏观上看,由于大数据革命的系统性影响和深远意义,主要大国快速做出战略响应,将大数据置于非常核心的位置,推出国家级创新战略计划。美国2012年发布《大数据研究和发展计划》,并成立“大数据高级指导小组”,2013年又推出“数据——知识——行动”计划,2014年进一步发布《大数据:把握机遇,维护价值》政策报告,启动“公开数据行动”,陆续公开50个门类的政府数据,鼓励商业部门进行开发和创新。欧盟正在力推《数据价值链战略计划》,英国发布《英国数据能力发展战略规划》,日本发布《创建最尖端IT国家宣言》,韩国提出“大数据中心战略”。中国多个省市发布了大数据发展战略,国家层面的《促进大数据发展行动纲要》也于2015年8月正式发布。

微观上看,大数据重塑了企业的发展战略和转型方向。美国的企业以GE提出的“工业互联网”为代表,提出智能机器、智能生产系统、智能决策系统,将逐渐取代原有的生产体系,构成一个“以数据为核心”的智能化产业生态系统。德国企业以“工业4.0”为代表,要通过信息物理系统,把一切机器、物品、人、服务、建筑统统连接起来,形成一个高度整合的生产系统。中国的企业以阿里巴巴集团董事局主席马云提出的“DT时代”为代表,认为未来驱动发展的不再是石油、钢铁,而是数据。这3种新的发展理念可谓异曲同工、如出一辙,共同宣告了“数据驱动发展”成为时代主题。

与此同时,大数据也是促进国家治理变革的基础性力量。正如《大数据时代》作者舍恩伯格在定义中所强调的,“大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的”。在国家治理领域,阳光政府、责任政府、智慧政府建设,大数据为解决以往的“顽疾”和“痛点”提供了强大支撑;精准医疗、个性化教育、社会监管、舆情监测预警,大数据使以往无法实现的环节变得简单、可操作;大数据也使一些新的主题成为国家治理的重点,比如维护数据主权、开放数据资产、保持在数字空间的国家竞争力等。

从哲学意义上来看,大数据不仅仅是一场技术革命,也不仅仅是一场管理革命或者治理革命,它给人类的认知能力带来深刻变化,可谓是认识论的一次升华。具体而言,大数据可以为决策者解决“四个问题”,提升“两种能力”。一是解决“坐井观天”的问题,以往人们决策只能基于视野之内极为有限的局部信息,和井底之蛙无异,大数据则可以实现整个苍穹尽收眼底;二是解决“一叶障目”的问题,以往不具备全样本数据分析能力,只能用小样本分析近似推理,犹如从“泰山”中取来“一叶”,而真理可能存在于全样本的海量数据之中,借助大数据则可完全克服;三是解决“瞎子摸象”的问题,7个瞎子根本无法根据各自的认识加总出完整的大象,因为他们的信息是相互离散的,无法有效关联起来,而大数据的基本优点是在深入关联中还原事物的原貌;四是解决“城门失火,殃及池鱼”的问题,人们习惯于因果分析,遇到这种“稀奇古怪”的因果链则很难前瞻和推理,但大数据注重相关关系,可以准确地发掘出规律。提升两种能力,一个是“一叶知秋”的能力,体现大数据敏锐的洞察能力;另一个是“运筹帷幄,决胜千里”的能力,体现大数据对时空约束的突破。这些足以说明,大数据是人类认识世界和改造世界能力的一次升华。

(二)中国具备成为数据强国的优势条件,应把握优势,克服挑战,抓住大数据革命带来的“机会窗口”,建设数据强国,值得振奋的是,中国具备成为数据强国的优势条件。从2013年至2020年,全球数据规模将增长10倍,每年产生的数据量由当前的4.4万亿GB,增长至44万亿GB,每两年翻一番。从全球占比来看,中国成为数据强国的潜力极为突出,2010年中国数据占全球比例为10%,2013年占比为13%,2020年占比将达到18%,届时,中国的数据规模将超过美国的数据规模,位居世界第一。中国成为数据大国并不奇怪,因为我们是人口大国、制造业大国、互联网大国、物联网大国,这都是最活跃的数据生产主体,未来几年成为数据大国也是逻辑上必然的结果。

尽管存在成为数据强国的潜力,但在目前的政策环境之下,我国推进大数据战略仍面临以下几个清晰的挑战。其一,顶层设计方面,全球大国之间围绕大数据的竞争颇为激烈,中国作为一个后发国家,想要实现弯道超车,后来居上并非易事。如何能够紧扣创新前沿,把准未来趋势,超前战略部署,对政策设计来说是一个非常现实的挑战。其二,数据开放方面,“数据孤岛”广泛存在,虽然政府掌握着80%的数据,但现实中却相互割裂,自成体系,“部门墙”“行业墙”“地区墙”阻碍了数据的流动共享,这与大数据时代的基本理念准则相悖。其三,大数据相关的法律、法规、标准缺位,导致能够开放的数据不开放,需要保护的隐私不保护,企业由于标准模糊而无法大胆创新。其四,“数据主权”容易受到侵蚀,由于数据空间是国家新的战略维度,尚没有完备的安全保障体系,再加上电脑、手机、芯片、服务器、搜索引擎、操作系统、软件等核心的数据“基础设施”大量依赖进口,数据资产极易流失,数据主权极易受到侵蚀。

把握优势,克服挑战,抓住大数据革命带来的“机会窗口”,建设数据强国,是实现中华民族伟大复兴的一个有力支撑。然而,当前和今后一个时期,我们需要怎样做才能更好地拥抱大数据时代,确保在数字化趋势中立于不败之地呢?首先,需要在国家顶层设计上有一个清晰的行动框架,包括由什么部门主导、哪些部门参与、什么样的协作机制、沿着什么优先次序、克服哪些既有的障碍、达到什么战略目标,只有这样,各部门、各地区、企业界、学术界才能形成合力,在一个共同的路线图上协作推进。其次,盘活数据资产,在数据开放上取得实质性突破。一些基本的建议包括,加快G2G、G2B、G2C大数据开放与共享;推动基础性、战略性大数据资源库整合;加强大数据基础设施建设,编制国家大数据档案。最后,要把强大的“国家企业”和活跃的“万众创新”结合起来。一方面,要培育可以和国际“八大金刚”并驾齐驱的巨型企业作为大数据环境中竞争的中坚力量,另一方面,还要鼓励和引导大众创业、万众创新成为数据生态系统中的活跃力量。

原文发布时间为:2016年1月11日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
存储 分布式计算 大数据
阿里云 EMR 强势助力,与阿里云大数据体系共创辉煌,把握时代热点,开启生态建设之旅
【8月更文挑战第26天】阿里云EMR(Elastic MapReduce)是一种大数据处理服务,与阿里云的多个服务紧密结合,共同构建了完善的大数据生态系统。EMR与对象存储服务(OSS)集成,利用OSS提供可靠、低成本且可扩展的数据存储;与MaxCompute集成,实现深度数据分析和挖掘;还支持数据湖构建服务,加速数据湖的搭建并简化数据管理与分析过程。EMR提供多种编程接口及工具,如Hive、Spark和Flink等,帮助用户高效完成大数据处理任务。
122 2
|
人工智能 数据可视化 大数据
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
360 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
53 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
90 1
|
1月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
70 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
24 4