大数据到底在用什么姿势塑造我们?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

从庞杂的数据背后挖掘、分析用户的行为习惯和喜好,找出更符合用户「口味」的产品和服务,并结合用户需求有针对性地调整和优化自身,就是大数据的价值。

元数据(Metadata)的概念

简单说,元数据是对数据本身进行描述的数据,它不是对象本身,它只描述对象的属性。

比如,一幅画本身,是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等,就是它的元数据。元数据的价值,第一是能够从侧面描述对象;第二点就是可以结构化、信息化。

  • 什么意思呢?

比如,我们要判断一幅画的价值,除了专家直接通过画的艺术性来评价,还可以通过元数据来判断。这幅画是名家的还是二流画家的?这幅画是作者在他创作鼎盛时期的作品,还是在年轻时的作品?这幅画是作者擅长的类型还是他不熟悉的?用这些描述的信息,我们就能把这幅画的价值算得八九不离十。虽然肯定会存在误差,但同样是科学合理的方法。

  • 那用元数据而非数据本身描述对象的意义何在?

这就是在大数据上产生的价值了:对于非结构化的、非量化的对象本身,结构化的元数据可以用以快速计算和判断。

大数据应用的第一阶段:辅助产品

最初的应用比较简单,就是用以辅助产品人员和市场人员做判断。

过去的实体产品做一次调研很麻烦。比如饮料公司,调研人员要用各种方式观看他们喝饮料的场景和步骤。问卷是最常见的,但不够准确。所以会组织各种各样专业的现场试验,要搭建环境(一般是有单面玻璃或摄像头的)、邀请志愿者,然后引导他们按照日常的习惯去完成一些操作。

显然这种办法非常笨重。

而现在的互联网产品则根本无须这么麻烦。用户所有的使用数据、行为,都是记录在案的,想知道什么,瞬间就能分析出来。过去想知道用户有没有做一件事,有没有用过这个功能,实在太难了。

现在呢,想知道点击这个行为点击了几下、点击在哪里、什么时候点的、甚至这是在什么地方点的,都一清二楚。平时用户用不用这个功能、怎么用这个功能,也就一目了然。

对于产品设计者来说,这是至关重要的数据。而且,这是完整的数据!如果是互联网产品,那么我知道的是所有用户的数据,不是过去传统行业产品的样本数据。

腾讯知道所有微信用户有多少用朋友圈、知道这些用户每天都发几条朋友圈、知道这些用户每天都发了什么。每一个数据都是真实可用的。

(过去发行量再大的报纸也很难知道读者性别,然而现在再小的微信公众号也可以实时获取)

在实体产品的行业,随着未来整个产品从生产-销售-使用的信息化,大数据也会渐渐起到更大的作用。过去我卖的一瓶水,可能到某个超市就断掉了,我不知道这瓶水被谁买走了。

但现在我在天猫卖的一瓶水,我知道对方这个用户是每个月买十箱水的,他的地址是某个高档餐厅,那我就知道这瓶水的目标受众是谁了。

这是元数据的价值所在。

所以,大数据的第一阶段是:辅助产品设计者做判断、让产品制造者更好地满足用户。

这时候的大数据主要是来为产品提供支持,产品再应用于用户。

大数据应用的第二阶段:创造价值

在数据的数量和质量达到一定程度后,事情开始变化了。元数据将不仅作为产品的辅助,而是变成了最有价值的产品本身。

很简单的,全中国最熟悉老百姓消费习惯的是工商局吗?是哪个协会吗?是哪个科研机构吗?都不是,是淘宝。

拥有最全面的个人信用信息的,是人事局吗?是银行吗?是咨询公司吗?都不是,是支付宝。

道理其实很简单,所有行为(消费、交易)发生在了这个平台上,而这个平台又有所有数据的记录,那这些数据就能产生巨大的价值。

你以为做医疗健康这方面的产品仅仅是关注你的健康吗?并不是,他们同时还能够记录你所有的体征,这是第一线的临床数据。

此时,大数据本身已经成为了产品,可以输出有价值的内容。

消费行为数据,卖给广告商,广告商就可以定向给你投送广告;信用数据,卖给银行,银行就可以判断出你的信用程度。健康数据,卖给保险公司……你懂的。

不仅仅是将数据出售,数据提供的内容完全可以创造出新的产品。尤其O2O这样的产品/服务,上游是服务提供者和资源,下游是用户,都能够有价值可以发掘。

以前做美甲的时候,我们设想的商业模式,上游就是了解美甲师用品的情况、跟生产厂家合作,把控渠道;下游是了解用户的情况,从而也能够跟其他美业产品合作(定向帮你把产品带到家里,河狸家其实已经在做),来让用户数据产生价值。

我之前听说饿了么在尝试一项新服务,就是为餐馆提供食材。乍一听有点怪,但后来想想的确是再合理不过。除了饿了么还有谁更能清楚某块区域的餐品售卖数据呢?这地方萝卜白菜卖得多、有多少量,饿了么清楚得很,跟农场谈合作,可以很好地把控上游渠道。

这阶段的大数据,已经可以成为产品,为用户直接服务。

从另一个角度看,通过我们行为数据这些元数据,我们已经在慢慢被量化的信息给描述出来了。看到这些数字(一年花了多少钱、在哪方面花的钱等等)已经对这个人可以有相对粗糙的认识了。

而大数据最终的形态开始初现。

大数据应用的第三阶段:塑造我们

我之前也总是对行为数据表示不屑。你知道我在淘宝买了点东西、跟谁微信聊了几句话、去百度随便查了点东西,就能知道我是什么人了吗?

还真的可以。只要数据保质保量。

我发现你微信跟异地的某个妹子聊得特别多、经常还视频,那这大概就是你异地的女朋友;我了解你在百度一直搜东南亚的机票和旅行攻略,那我知道你可能要去那里玩。

就是这么简单的几条元数据,我就能推测出来,有很大的概率你最近要跟女朋友一起去东南亚旅行。

这是说明元数据能够推理信息的逻辑性。而对于可获取的元数据,也越来越多了。

作为这些产品的数据的拥有者,我完全不需要派个私家侦探来跟踪你。只需要等你自己乖乖把这些数据送上来。

春节的时候,支付宝为什么要和微信争抢小额支付和社交场景的支付?不是为了那点手续费,就是为了它缺失的社交支付这一块。这块数据的价值,远超想象。

未来我们每个人的衣食住行、生活起居,都将有大量的数据记录。我们的行为会变成一串串数字成为可量化的数据,成为描述我们的信息。我们工作用云笔记、吃饭用饿了么、打车用滴滴、搜东西用百度、社交用微信,每一步都事无巨细被记了下来。

不信你可以翻出你历史所有在百度或者 Google 的搜索记录来,对你生活的描述绝对比你自己的日记都要真实。

这些数据将被转换成有价值的商业数据,来描述你各方面的信息。

最终,我们本身就是可以被量化的大数据对象

这样的未来自然有利有弊。利是我们无处不在享受着大数据带来的便利,我们看到的每一条广告都会是我们自己喜欢的,我们查的每一条搜索记录都是根据我们特点来推荐的,我们在加好友时系统甚至都可以说他是不是会跟我们合得来。

弊在于,我们的隐私就暴露无疑。只要数据的拥有者想做点坏事,那真的是什么都有可能。

大数据绝不会止步在为决策仅仅提供帮助,它的终极形态就是可以用海量的数据描述我们一个个具体的个体。当达到这一步时,现在的市场调研、用户分析将会变得异常简单。

因为,大数据已经完全能够塑造出我们了。


本文作者:刘飞

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
大数据 数据中心 云计算
|
机器学习/深度学习 存储 人工智能
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
361 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
53 2
|
1月前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
90 1
|
1月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
71 4
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
25 4