大数据的应用难题:是否该建立数据公地

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

要想考察大数据最好同时考察大数据背后的技术、商业和社会维度。从发展成熟度来看,技术维度走的最远、商业维度有所发展但不算全面成熟,社会维度发展最差。所以虽然已经谈了很久大数据,但除了孕育出大数据自身的几个领域比如搜索等,其它领域却并没有从大数据中获得可见的收益。大多时候人们还是处在觉得这里肯定有金子,但需要更多的耐心的状态。这篇文章则尝试对大数据本身的特征做点挖掘,对未来的发展趋势做点预测。

 

大数据上的深度和广度

如果把大数据对应到海量的数据,那它就是非常含糊的概念,相当于变成信息的同义词,显然也就很难回答信息到底能干什么这样的问题。

这时候为了推进思考通常需要先分类。如果把时间空间作为最基本的视角,那首先要区分的就是大数据的深度和广度。从时间的角度看大数据是完整的历史,从空间的角度看大数据是全球活动的痕迹。前者可以看成一种深度,后者可以看成一种广度,不同的场景对深度和广度的侧重有所不同。

对于有些垂直的行业,比如医疗,大数据的深度更重要,所有的历史都可以在数据上得到找到之后,人们就可以更好的认知并优化相应的行业。

对社会而言,很多时候广度则更重要,具体到某个场景我们只有一鳞半爪的消息,但当这种信息足够多,范围足够广,就有可能描述出相对及时的全貌。经常举的Google预测传染病的例子依赖的就是这种广度。

这点决定了大数据的应用发展趋势,在深度重要的地方,公司这类组织需要成为主体,困难是如何跨越数据所有权的边界。对于医院而言,显然把所有治疗案例数据化并共享是有好处的,但如果只有一个医院这么做,那对这一家医院而言更多的可能是隐私上反弹所带来的坏处。

在广度重要的地方,虽然在搜索这样的领域里公司也可以受益,但真正可以从大数据全面受益的机构其实是政府。数据越广,其所描述的主体就越大,而如果描述的是整个社会,那显然应该是社会的主要责任人会从中受益。这是个常识问题,就和看病的时候不会吃了医生给别人开的药自己反倒好了差不多。有的时候央视会播放百度做的春节期间人员流动图,这件事情也正好可以从侧面说明这问题。这种人员流动地图对能做出地图的人公司帮助远没有对政府的帮助大。

简单总结下就是:深度和广度两个方向对数据的要求不同,前者需要更为详尽、有质量的数据源;后者则对此要求不高,但两者在应用的时候都会面临付出回报不对等问题。大数据倾向于描述整体,而有能力收集或处理大数据的往往是个体,个体的回报在整体的提升中并不容易获得清晰体现。

所以说现在大数据发展的瓶颈不是技术,而是背后所需要的分配关系的建立。这种关系理不顺,数据就会停留在孤岛层面,每个组织都有自己的东西,并把它命名为“大数据”。而为了理顺这种关系则要回到一个非常经典的问题,“公地”到底可不可以建立。

数据公地的设想

大数据其实有点像公地,在经济学里非常出名的一个论点是公地悲剧。《美国经济史》举了一个非常易懂的例子来说什么是公地悲剧:

...这些经济推理命题有利于解释集体所有制和产出的共享(平分或固定份额)如何导致“免费搭车者”问题。为了说明这一点,考虑共享土地所有权,且共同生产了100蒲式耳玉米的10个工人,平均每人消费10蒲式耳玉米。假设一个工人开始偷懒并将其劳动努力减半,从而导致产出减少5蒲式耳。由于产出共享制度的安排,偷懒者的消费量和其它工人一样,现在都是9.5蒲式耳。尽管他的努力已经下降了50%,但他的消费量只下降了5%。偷懒者是在搭他人劳动的便车...

这背后有非常深刻的人性问题,即使我们可以通过努力协作创造更多的财富,个人也可以从中分享更多,但在群体里明显的个人倾向则是自己工作更少但分享更多。这与囚徒困境其实是相通的。

基于实物的世界里眼下看不到彻底解决这问题的方法,只能依赖于某种被大家基本认可的分配秩序,比如:以前的血统现在的物竞天择,但基于比特的数字财富眼下看却有解决这问题的可能。

基于比特的数据与实物最大的区别是数据并非是你拿走我就没有的东西,并且硬件的价格在飞速下降,开源又使数据的访问工具基本免费。这几者叠加在一起,使数据公地成为可能。

这里面很有意思的问题是如果大家更在意我拿到的东西是不是绝对值变大了那数据公地的形成可能性就大些,因为如果存在数据公地,那每个人(企业)一定收获更多,但如果大家更在意我是不是比你多,那数据公地的建设就会多很多障碍,因为公地其实是让相关人员站到同样的竞争起点上。

大数据的问题,在数据的使用上是技术问题,但在数据源上其实是社会经济问题,后者更难,所以大数据应用的发展不取决于技术的发展而取决于社会经济方式的变革速度。在有限的领域里,比如搜索、电商、云计算,技术已经得到比较充分的发展,眼下来看谁付出谁受益的问题是把小数据变成大数据过程中最主要的问题。

大数据的路往那里走?

数据的内在发展动力是数据越全价值越大,其实这也是一种网络效应,这种内在动力导致宏观来看数据所有权的发展只有两种趋势:

一种是像现在移动端一样,每个人都有自己的私有数据源,接下来开始你死我活的竞争,最终有一家活下来,这也可以达成数据统一的终极目标。

另一种则是在竞争中开始联合,建设上面所说的数据公地。

如前所述行业数据和全社会的数据性质上差别很大所以要分开来探讨。

对于行业数据而言,竞争对手间彼此的坦诚合作除非有极为特别的人物出现,否则是不太可能的。这种情况下最简单的办法是引入第三方。

比如说每家运营商都握有几乎所有网民的行动数据,但要想让运营商彼此间开诚布公的合作把这些数据整合在一起创造某种价值,这就很难。这时候如果有第三方介入,制定好利益分配方案那就是可能的。

如果这点可以达成,那唯一的关键点就是相应的商业模式是不是可以超越数据处理的成本。这点必须强调下的是,大数据的价值密度是很稀疏的,很多东西有价值但并不一定值得做,视频网站之所以赚不到钱一个关键原因就是带宽和存储的成本比较高,而对大数据而言商业模式找不好,情形可能比视频网站还差。挖矿的成本怎么也要小于挖矿所得挖矿才有价值。

上述问题在行业数据里可能问题还不是太大,一般来讲行业数据的价值密度终究会大一些,并且因为相对比较垂直,总量终究有限制。所以大数据的行业应用比较容易发展。

但对社会性的数据,这在很多时候就是个问题。我们都知道样本的全面性比数据的多少更有价值,但是如果多是确保样本全面性的唯一手段的话,那就意味必须有全的数据做一件事情才有意义。

社会化的数据有两种应用方向,一种就是企业可以搞定的比如Google,一种则是属于社会层面,很难单独属于某个企业的比如智慧城市相关的人的活动数据。后者则需要上面所说的数据公地来做支撑。

从数据的视角来看,现在有两种数据存放形式:一种是Google这样的企业拥有整个社会某个横截面上的全部数据,这应该是种特例,并且数据会局限在公开信息;一种则是被割裂的各种与人行为相关的数据,比如购物相关的在电商,与人相关的在社交网络和IM,线下服务相关的则在O2O企业,铁路相关的在12306等。Google这种拥有全的数据,但并不拥有人的行为,所以说Google这种企业相当于拥有整个社会的一个横截面的数据。而所有其它企业则只拥有某个垂直领域的数据。

如果依赖于企业做这种数据统一的尝试,在前者就会有投资200亿做O2O类的举动,因为这会补全数据,在后者就会有做电商的想做社交,做社交的想做电商这类事发生。类似的故事还可以在终端上发生,所有这些行为的终极目标都是一家企业搞定所有这些事情,但这是不可能的,这种不可能还不单是经济原因。而数据不能打通,那就只能在割裂的数据上做自以为是大数据的大数据。

所以说这骨子里是数据公地究竟能不能建立的问题,而要想建立数据公地,那至少要解决谁来做的问题,对此开源给出的启示有两点非常关键:第一这不能是个盈利组织;第二这要能获得众多企业的支持。因为数据会牵涉隐私,所以同开源相比那就一定还要有比较清晰的界定数据使用的规则。

小结

在有一种切实的办法解决数据所有和使用权之前,大数据的应用应该还都是局部的。因为它的深度应用牵涉社会很多部分的彼此协调,所以这个过程可能是非常漫长的。这里面有意思的事情是,大数据的出现直接推动了机器智能的发展,而机器智能产生影响的速度可能会远快于大数据本身


本文作者:佚名

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
293 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
45 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
86 1
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
154 1
|
18天前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
26天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
63 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
24 4
|
1月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
58 3