《大数据分析原理与实践》——1.3 什么是大数据分析

简介: 本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.3节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3 什么是大数据分析

1.大数据分析的定义

数据分析指的是用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

数据分析可以分为三个层次,即描述分析、预测分析和规范分析。

描述分析是探索历史数据并描述发生了什么,这一层次包括发现数据规律的聚类、相关规则挖掘、模式发现和描述数据规律的可视化分析。

预测分析用于预测未来的概率和趋势,例如基于逻辑回归的预测、基于分类器的预测等。

规范分析根据期望的结果、特定场景、资源以及对过去和当前事件的了解对未来的决策给出建议,例如基于模拟的复杂系统分析和基于给定约束的优化解生成。

顾名思义,大数据分析是指对规模巨大的数据进行分析。大数据分析是大数据到信息,再到知识的关键步骤。

2.大数据分析的应用

大数据分析有着广泛的应用,成为大数据创造价值的最重要的方面。下面举一些各个领域大数据分析应用的实例。

在宏观经济领域方面,淘宝根据网上成交额比较高的390个类目的商品价格来得出CPI,比国家统计局公布的CPI更早地预测到经济状况。国家统计局统计的CPI主要根据的是刚性物品,如食品,百姓都要买,差别不大;可是淘宝是利用化妆品、电子产品等购买量受经济影响较明显的商品进行预测,因此淘宝的CPI更能反映价格走势。美国印第安纳大学利用谷歌公司提供的心情分析工具,从近千万的短信和网民留言中归纳出6种心情,进而预测道琼斯工业指数,准确率高达87%。

在制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业的销售状况;一些企业利用大数据分析实现对采购和合理库存的管理,通过分析网上数据了解客户需求,掌握市场动向;美国通用电气公司通过对所生产的两万台喷气引擎的数据分析,开发的算法能够提前一个月预测和维护需求,准确率达70%。

在农业领域,硅谷有个Climate公司,利用30年的气候和60年的农作物收成变化、14 TB的土壤的历史数据、250万个地点的气候预测数据和1500亿例土壤观察数据,生成10万亿个模拟气候据点,可以预测下一年的农产品产量以及天气、作物、病虫害和灾害、肥料、收获、市场价格等的变化。

在商业领域,沃尔玛将每月4500万的网络购物数据,与社交网络上产品的大众评分结合,开发出“北极星”搜索引擎,方便顾客购物,在线购物的人数增加10%~15%。再如,有的电商平台将消费者在其平台上的消费记录卖给其他商家,商家得到这个消费记录对应的顾客IP地址后,就会留意其上网踪迹和消费行为,并适时弹出本公司商品的广告,这样就很容易做成交易,最终的结果是顾客、电商平台、商家,甚至相关网站都各有收益。

在金融领域,阿里巴巴根据淘宝网上中小型公司的交易状况,筛选出财务健康、诚信优良的企业,为他们免担保提供贷款达上千亿元,坏账率仅有0.3%;华尔街“德温特资本市场”公司通过分析3.4亿留言判断民众心情,以决定公司股票的买入和卖出,也获得了较好的收益。

在医疗卫生领域,一方面,相关部门可以根据搜索引擎上民众对相关关键词的搜索数据建立数学模型进行分析,得出相应的预测进行预防。例如,2009年,谷歌公司在甲型H1N1爆发前几周,就预测出流感形式,与随后的官方数据相关性高达97%;而百度公司得出的中国艾滋病感染人群的分布情况,与后期的卫生部公布结果基本一致。另一方面,医生可以借助社交网络平台与患者就诊疗效果和医疗经验进行交流,能够获得在医院得不到的临床效果数据。除此之外,基于对人体基因的大数据分析,可以实现对症下药的个性化诊疗,提高医疗质量。

在交通运输中,物流公司可以根据GPS上大量的数据分析优化运输路线节约燃料和时间,提高效率;相关部门也会通过对公交车上手机用户的位置数据的分析,为市民提供交通实时情况。大数据还可以改善机器翻译服务,谷歌翻译器就是利用已经索引过的海量资料库,从互联网上找出各种文章及对应译本,找出语言数据之间的语法和文字对应的规律来达到目的的。大数据在影视、军事、社会治安、政治领域的应用也都有着很明显的效果。总之,大数据的用途是十分广泛的。

当然,大数据不仅仅是一种资源,作为一种思维方法,大数据也有着令人折服的影响。伴随大数据产生的数据密集型科学,有学者将它称为第四种科学模式,其研究特点在于:不在意数据的杂乱,但强调数据的规模;不要求数据的精准,但看重其代表性;不刻意追求因果关系,但重视规律总结。现如今,这一思维方式广泛应用于科学研究和各行各业,是从复杂现象中透视本质的重要工具。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7天前
|
机器学习/深度学习 自然语言处理 供应链
深度学习在大数据分析中的应用非常广泛
深度学习在大数据分析中的应用非常广泛
|
10天前
|
机器学习/深度学习 数据采集 分布式计算
如何用Python处理大数据分析?
【6月更文挑战第14天】如何用Python处理大数据分析?
26 4
|
12天前
|
SQL 数据采集 数据可视化
基于Hive的招聘网站的大数据分析系统
基于Hive的招聘网站的大数据分析系统
|
12天前
|
机器学习/深度学习 数据采集 分布式计算
基于spark的大数据分析预测地震受灾情况的系统设计
基于spark的大数据分析预测地震受灾情况的系统设计
|
12天前
|
分布式计算 数据可视化 Python
豆瓣短评大数据分析:探索用户观影趋势与情感倾向
豆瓣短评大数据分析:探索用户观影趋势与情感倾向
|
13天前
|
JSON 数据挖掘 API
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
数据分析实战丨基于pygal与requests分析GitHub最受欢迎的Python库
18 2
|
17天前
|
算法 数据挖掘 数据处理
数据分析之可重复与独立样本的T-Test分析
数据分析之可重复与独立样本的T-Test分析
18 2
|
19天前
|
数据采集 搜索推荐 大数据
基于大数据的市场分析与消费者行为研究
【6月更文挑战第5天】大数据在市场分析与消费者行为研究中扮演关键角色。通过海量数据分析,企业能更全面、精准地了解消费者偏好和市场趋势。Python等工具帮助处理数据,揭示购买习惯,支持个性化营销策略。同时,大数据使深入理解消费者心理、决策过程成为可能,助力企业优化产品,提升客户满意度和忠诚度。在这个数据驱动的时代,大数据是洞悉市场和消费者的魔法力量。
38 2
|
25天前
|
存储 数据采集 机器学习/深度学习
大数据基础:收集、处理与分析
【5月更文挑战第30天】本文探讨了大数据的基本概念、关键技术及应用案例。大数据是海量、多源、快速处理的数据集合,涉及数据采集、存储、处理和分析。关键技术包括使用Flume进行数据采集、Hadoop HDFS和NoSQL数据库存储数据、MapReduce和Spark进行批处理、以及Python的pandas和scikit-learn进行数据分析。应用案例涵盖了金融风控、医疗健康和智能交通等领域,展示大数据在风险评估、疾病诊断和交通管理等方面的潜力。随着技术发展,大数据将在更多领域发挥作用。
62 3
|
25天前
|
分布式计算 监控 Java
Java的大数据处理与分析技术 (2)
Java的大数据处理与分析技术 (2)

热门文章

最新文章