《大数据分析原理与实践》一一第2章 大数据分析模型

简介:

第2章 大数据分析模型

大数据分析模型讨论的问题是从大数据中发现什么。尽管对大数据的分析方法林林总总,但面对一项具体应用,大数据分析非常依赖想象力。例如,对患者进行智能导诊,为患者选择合适的医院、合适的科室和合适的医生。可以通过患者对病症的描述建立模型而选择合适的科室;可以基于对患者位置、医院擅长病症的信息以及患者病症的紧急程度建立模型而确定位置合适的医院;还可以根据医院当前的队列信息建立模型进行推荐,如果队列较长则显示已挂号人数较少、等待时间较短的医生资料,如果队列较短则显示那些挂号费和治疗费较高但医术相对高明、经验相对丰富的医生资料。
这些分析离不开一系列基本的模型与方法。大数据分析模型用于描述数据之间的关系,我们经常听说的贝叶斯分类器、聚类、决策树都是大数据分析模型。
面向具体应用的大数据分析模型往往是这些分析方法的扩展或者叠加,例如我们可以结合支持向量机(SVM)和随机森林一起对心脏病病人的重新入院率做一个预测,对那些重新入院概率高的病人提供更加周到的住院期间的护理和出院后的跟踪护理。
大数据的分析模型有多种不同分类方法。例如,依据分析的数据类型,可以分类成面向结构化多维数据的多元分析、面向半结构化图数据的图分析以及面向非结构化文本数据的文本分析。根据分析过程中输出和输入的关系,又可以分类成回归分析、聚类分析、分类和关联规则分析等。根据输入的特征,可以分为监督学习、无监督学习和半监督学习等。
大数据分析是一个比较广的范畴,和统计分析、机器学习、数据挖掘、数据仓库等学科都存在关系,因而Michael I. Jordan建议用“数据科学”来覆盖整个领域。而大数据分析模型的建立是其中最基础也是最重要的步骤。
本章将对大数据分析模型进行概述,首先在2.1节介绍大数据分析模型建立方法,在接下来的两节中介绍两种从数据中发现规律的统计方法。一种是直接计算数据的统计量(见2.2节),另一种是利用数据来推断数据所描述对象的总体特征,即统计推断(见2.3节)。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
Java 大数据 Linux
学习大数据分析需要什么基础?
顾名思义,大数据就是巨量数据,海量数据,也可以说是数量大,结构复杂,类型复杂的数据的集合。而从这些数据中获取有价值的信息的的能力,就是大数据技术。
1294 0
《大数据分析原理与实践》——第3章 关联分析模型
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3791 0
|
机器学习/深度学习 大数据
《大数据分析原理与实践》——第2章 大数据分析模型
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1434 0
|
新零售 搜索推荐 大数据
《大数据分析原理与实践》——1.3 什么是大数据分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.3节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1728 0
《大数据分析原理与实践》——小结
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章,小结,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1108 0
|
机器学习/深度学习 算法 大数据
|
存储 算法 数据挖掘
《大数据分析原理与实践》——1.4 大数据分析的过程、技术与难点
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.4节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3181 0
|
算法 大数据 数据挖掘
《大数据分析原理与实践》——2.1 大数据分析模型建立方法
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章,第2.1节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3627 0
|
机器学习/深度学习 大数据
《大数据分析原理与实践》一一第2章 大数据分析模型
本节书摘来自华章出版社《大数据分析原理与实践》一 书中的第2章,第2.1节,作者:王宏志 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1200 0
|
新零售 搜索推荐 大数据
《大数据分析原理与实践》一一1.3 什么是大数据分析
本节书摘来自华章出版社《大数据分析原理与实践》一 书中的第1章,第1.3节,作者:王宏志 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1497 0