漫画:什么是大数据?

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 漫画:什么是大数据?

微信图片_20220421094421.jpg微信图片_20220421094427.jpg微信图片_20220421094433.jpg微信图片_20220421094435.jpg


大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization.微信图片_20220421094439.jpg

微信图片_20220421094441.jpg微信图片_20220421094443.jpg微信图片_20220421094445.jpg


微信图片_20220421094448.jpg微信图片_20220421094450.jpg微信图片_20220421094452.jpg微信图片_20220421094455.jpg微信图片_20220421094459.jpg微信图片_20220421094505.jpg

微信图片_20220421094508.jpg微信图片_20220421094510.jpg微信图片_20220421094512.jpg微信图片_20220421094515.jpg微信图片_20220421094517.jpg微信图片_20220421094519.jpg微信图片_20220421094522.jpg


大数据通常都拥有海量的数据存储。仅根据2013年的统计,互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。


面对这样规模的数据存储量,依靠单台数据库服务器显然是不够的,需要以分布式文件系统(例如 HDFS)作为基石。

微信图片_20220421094524.jpg微信图片_20220421094526.jpg微信图片_20220421094529.jpg


在传统的关系型数据库中,所存储的数据都是结构化的,例如:


微信图片_20220421094531.png


但是在现实生活中,信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为:


用户张三, 于某某时间在商品搜索栏搜索了“苹果手机”一词,然后进入 XXX 商铺进行浏览,经过与店家沟通,讨价还价,最终以6000元的价格购买了 iPhone 7 “钢琴黑”款式手机一部。


诸如此类的用户行为数据属于非结构化数据,很难用关系型数据库存储。因此诸多No-SQL数据库(例如 HBase)成为了存储大数据的更好选择。

微信图片_20220421094533.jpg微信图片_20220421094536.jpg微信图片_20220421094539.jpg


如果没有更加快速有效的海量数据解决方案,那么如此大量多样的数据不但没有带来更多价值,反而成为了系统的负担。关于这一点,谷歌公司率先提出的MapReduce模型为我们带来了新的道路。


MapReduce可以简单的理解成一种分治方法:把庞大的任务分成若干小任务,交给多个节点进行并行处理,然后再把所有节点的处理结果合并起来,从而大大提升了数据处理效率。(关于MapReduce的详细流程,将会在以后的文章中进行讲解。)

微信图片_20220421094543.jpg微信图片_20220421094546.jpg

微信图片_20220421094549.jpg微信图片_20220421094635.jpg


人工智能:


微信图片_20220421094638.jpg


以大数据作为机器学习的训练集,从而训练出拥有一定决策能力的人工智能。典型的代表案例就是谷歌的AlphaGo, 通过大量围棋棋局的学习,最终拥有了打败围棋世界冠军的能力。


商业分析:


微信图片_20220421094640.jpg


从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司LinkedIn,他们通过用户之间的关联关系,绘画出学校、公司、人才之间庞大而复杂的信息网络。不仅如此,LinkedIn还通过大量求职者和招聘方的信息,分析出哪些公司正在迅速扩张,哪些公司正在流失人才,哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说,都是无价之宝。


犯罪预测:


微信图片_20220421094643.jpg


洛杉矶警察局曾经借助一套原本用于预测地震后余震的大数据模型,把过去80年内的130万个犯罪记录数据输入进去,结果发现其预测出的犯罪高发地点与现实惊人的吻合。后来该预测算法经过改进,已经成为了当地警局重要的参考依据,大大降低了当地的犯罪率。


微信图片_20220421094646.jpg微信图片_20220421094648.jpg


这里所介绍的相关知识,只是作者对于大数据领域的浅层次理解。通过这篇漫画,希望没有从事过IT行业,或者不了解大数据的朋友们能够对大数据有一些初步的认知。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
5月前
|
存储 分布式计算 运维
揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”
揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”
|
6月前
|
存储 分布式计算 大数据
大数据科普
大数据科普
|
人工智能 分布式计算 大数据
漫画:大数据的九大应用场景
漫画:大数据的九大应用场景
漫画:大数据的九大应用场景
|
大数据
让你秒成大数据“砖家”:富有哲理的12条大数据金句
我们编译了12个富有品味的大数据金句,这些内容或许能帮你“指点江山”,让你秒成大数据“砖家”。
5142 0
|
传感器 搜索推荐 算法
|
存储 人工智能 算法