切勿盲目“跟风” 你全面认识大数据了吗?

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

近年来,有关大数据的热点话题一浪高过一浪,关注大数据应用的人也越来越多。总体来说,人们对大数据的前景持乐观态度,比如谈到大数据的技术特征,人们最容易想起的就是4个“v”:vast(数量庞大)、variety(种类繁多)、velocity(增长迅速)和value(总价值高)。这些都没错,但仔细一想,它们都是偏重说明大数据的正面优势的。但其实,大也有大的难处,大数据也不可避免地存在着一些负面劣势。这些负面劣势可以概括四点:

切勿盲目“跟风” 你全面认识大数据了吗?

inflated——大数据是肥胖的。大数据的大不仅仅体现在数据记录的行数多,更体现在字段变量的列数多,这就为分析多因素之间的关联性带来了难度。哪怕是最简单的方差分析,计算一两个还行,计算一两百个就让人望而生畏了。

unstructured——大数据是非结构化的。大数据的结构也是非常复杂的,既包括像交易额、时间等连续型变量,像性别、工作类型等离散型变量这样传统的结构化数据,更增添了如文本、社会关系网络,乃至语音、图像等大量新兴的非结构化数据,而这些非结构化数据蕴含的信息量往往更加巨大,但分析手段却略显单薄。

incomplete——大数据是残缺的。在现实的世界里,由于用户登记的信息不全、计算机数据存储的错误等种种原因,数据缺失是常见的现象。在大数据的场景下,数据缺失更是家常便饭,这就为后期的分析与建模质量增加了不确定的风险。

abnormal——大数据是异常的。同样,在现实的世界里,大数据里还有不少异常值(outlier)。比如某些连续型变量(如一个短期时间内的交易金额)的取之太大,某些离散型变量(如某个被选购的产品名称)里的某个水平值出现的次数太少,等等。如果不删除,很可能干扰模型系数的计算和评估;如果直接删除,又觉得缺乏说服力,容易引起他人的质疑。这使得分析人员落到了一个进退两难的境地。

古有孔子“温故而知新”,而今,人们利用大数据的分析,已经可以预见和分析出很多当下时代的大趋势了。但是,这些分析数据的真实性怎么保证呢?目前,我国的大数据正处于发展中阶段,如果不能处理好这些不利因素就盲目“跟风”去运用,那么大数据应用的优势很难发挥出来。想要真正运用好大数据,并不是一项在常规条件下数据分析的简单升级,而是一项需要大智慧的综合工作。

其实,只要是有效地利用大数据,就可以实时监控各种潜在风险,提高生产效率,更重要的是为企业提供诸多洞见,提升投资回报和竞争优势,而且有助于企业从多维度判断全球市场潜在商机,实现跳跃式快速发展。如果没有一个全面、客观认识大数据的过程,即便我们能很容易的利用大数据得到很多可预见的数据,又有几分准确性?

所以,我们必须要对大数据有一个全面、客观的认识。文中提到的四个难点,也是必须要重视的。只有在不同的业务和数据背景下采用不同的战略战术,才能在大数据时代,真正发挥大数据的杠杆作用,有效提高企业的运营效率和市场竞争力。

原文发布时间为:2014年05月08日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
5月前
|
UED
技术浪潮中的个人成长与价值
在当今科技迅猛发展的时代,技术人员的个人成长和不断创造价值变得愈发重要。本文通过探讨自身的技术感悟,分析了技术浪潮对个人成长和价值的影响,并提出了一些建议,帮助读者在技术领域中取得更好的发展和实现个人价值。
53 0
|
大数据
你是如何被“大数据”洗脑的?
在这个大数据盛行的时代,到底是应该相信常识还是相信时代呢?
1921 0
|
机器学习/深度学习 人工智能 安全
下一篇
无影云桌面