大凯哥说大数据(系列一):没有云计算就没有大数据

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 今天给大家带来的是大凯哥说大数据系列—没有云计算就没有大数据,告诉大家怎么利用云计算最高效的发掘数据的价值。
+关注继续查看

5de00065a88587cb90a

本文作者:肖凯,驻云科技COO,联合创始人,前IBM资深架构师,前EMC资深架构师。负责驻云云计算架构和运维团队,面向企业提供云计算咨询与运维服务,拥有超过10年的系统开发、架构设计、企业级技术咨询的经验。


以下正文


最近很多人跟我聊大数据,有客户,有朋友,还有应聘者。聊得越多却越怕谈大数据,为什么呢?比如有人跟我说他在做基因数据的大数据分析,我听到眼睛一亮,因为十几年前读书的时候做过一些基因序列分析方面的事情,知道这个很有价值但由于当时分析手段很落后也只得作罢,于是我赶紧问,你怎么分析?他说我把几千个人的基因数据片段拆分为多个维度,根据病例基因样本,放到Excel里XXXXX......


我顿时一口鲜血,#@%^#&^@#*......


这个例子虽然有些夸张,不过确实也能反应现在跟别人聊大数据时的困惑,做报表的说我做大数据分析,做工具的也说我做大数据分析。

5dc00065994826ce37f

那到底什么是大数据分析呢?


大数据分析应该至少具备三个特征:1. 客观  2. 实时 3. 多维


什么是客观? 比如我们要分析一群人当中哪些可能有抑郁或自杀倾向, 使用调查问卷是过去常见的手段,但调查问卷看起来是客观的,实际上却颇有偏颇。因为人在做问卷的时候本身就会根据问题本身进行一些主观倾向性的回答,并不一定是客观的。那么什么是客观的呢?这个人的日常行为、作息时间、朋友关系等,这些都是客观的数据。只有通过客观数据得到的结果才是准确的。如果数据不是客观数据,分析手段就算再先进,结果也不会太准确。


什么是实时?数据是有价值的,但是数据在不同时间段价值差别就非常大了,过了黄金时间段,数据就成垃圾。比如警察叔叔在抓捕逃犯时的交通监控数据,会随着时间的推移价值越来越低。再比如我们春晚时参与抢红包互动的用户访问情况和分布数据,过了那几个小时,业务上所期望带来的广告价值就成为0了。


什么是多维?事物有多个维度,比如我们要分析一个人的征信情况来判断借款给这个人的风险是多少?只是收集他的收入情况、公司、学历、历史银行还款记录等基本信息是不够的。实际上一个人除了这些数据维度,还有更广阔的维度,比如他的消费习惯、购物情况、朋友数量和分布、所在公司的状况等等。所以数据一定要有足够多的维度分析才更精确,更有价值。

5dc000659972b393c33

说完这些可能有同学就会问了,你说的这几点在人类历史中,计算机出现以来都一直存在啊,为什么10年前没有大数据分析,最近几年大数据分析才热门起来呢?

没错,其实数据一直都在人类社会活动中不停地产生,大数据一直都存在,那么为什么今天我们才发现大数据的价值呢?有人问数据到底有没有价值?答案一定是有的,但是挖掘数据价值的投入产出比就不好说了。因为可能分析数据要100元,但是产生的结果价值也许只有50元。


这就是为什么以前人们上网、购物、玩游戏,产生的数据也很多,但是大部分的数据都没有产生价值,因为以前开采数据价值的代价太高了。进行数据分析的前提一定是要有低廉的存储成本和大规模的计算资源,以及高效的技术手段。这样才能通过20元的投入来获得50元的数据价值。


传统的IT手段解决不了这些问题,所以以前有大数据,但是并没有大数据分析,也很少有人从海量数据中得到太多的价值。其实数据的价值就像页岩油,一直都在那里,也是有价值的,但是当技术手段不成熟时,页岩油就是没有价值。直到“ 水平井与压裂技术 ”的出现和完善,使得开采页岩气的效率和成本大幅下降,造就了目前的页岩气能源革命,也引起了石油价格大幅下跌。云计算就相当于是页岩气革命中的“水平井与压裂技术”。因为云计算技术的出现帮助我们解决了海量存储和大规模计算的问题,这才有了大数据分析。


在传统IT架构下,很多的日志、用户行为记录、交易过程信息,要么是根本没有记录,要么就是因为无法有效产生价值而把这些数据都丢弃掉了。往往一个企业的交易相关数据量也就是几百GB到几个TB而已(视频和图片除外)

所以一个企业连数据都没有多少,怎么做大数据分析?

5dc000659968a6503e7

那么要想通过大数据分析来产生业务价值,第一步要做的是什么呢?其实不是去想怎么分析,而是先规划好数据的收集,只有先存储了足够多的数据,数据的价值才能够从量变到质变,从而为业务带来价值。就比如现在很多互联网公司收集用户行为以及交易状态数据,然后通过实时或者准实时的分析,再迅速调整业务策略来提高商品销量。


所以如果希望通过大数据的分析手段来获取数据价值,首先要解决海量数据的存储问题以及必须具备大规模计算的能力,有了这两个武器,数据的价值才能够高效的发掘。


好啦~本文到这里就结束了,同时,如果喜欢我们的话就赶紧订阅我们吧~~~每天定时推送新鲜干货~~~也可以关注我们的微信公众号:架构云专家频道 每天同步更新哟~~~

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
9天前
|
人工智能 监控 物联网
基于物联网、大数据、云计算、人工智能等技术的智慧工地源码(Java+Spring Cloud +UniApp +MySql)
基于物联网、大数据、云计算、人工智能等技术的智慧工地源码(Java+Spring Cloud +UniApp +MySql)
29 0
|
2月前
|
分布式计算 Kubernetes 大数据
为什么说大数据和云计算的深度融合是大势所趋?
为什么说大数据和云计算的深度融合是大势所趋?
为什么说大数据和云计算的深度融合是大势所趋?
|
2月前
|
存储 分布式计算 大数据
大数据与云计算架构:构建弹性高效的数据处理平台
大数据与云计算架构:构建弹性高效的数据处理平台
158 1
|
5月前
|
分布式计算 大数据 数据挖掘
云计算与大数据期末项目 电商大数据离线计算
云计算与大数据期末项目 电商大数据离线计算
62 0
|
5月前
|
SQL 分布式计算 Hadoop
云计算与大数据实验八 Hive的安装与基本操作
云计算与大数据实验八 Hive的安装与基本操作
50 0
|
5月前
|
存储 分布式计算 Java
云计算与大数据实验七 HBase的安装与基本操作
云计算与大数据实验七 HBase的安装与基本操作
187 0
|
5月前
|
存储 编解码 分布式计算
云计算与大数据实验六 MapReduce综合应用
云计算与大数据实验六 MapReduce综合应用
82 0
|
5月前
|
分布式计算 Java Hadoop
云计算与大数据实验五 MapReduce编程
云计算与大数据实验五 MapReduce编程
138 0
|
5月前
|
分布式计算 安全 Java
云计算与大数据实验四 HDFS编程
云计算与大数据实验四 HDFS编程
48 0
|
5月前
|
存储 分布式计算 Hadoop
云计算与大数据实验三 HDFS的基本操作(下)
云计算与大数据实验三 HDFS的基本操作(下)
83 0
推荐文章
更多