《大数据分析原理与实践》一一3.4 小结

简介: 本节书摘来自华章出版社《大数据分析原理与实践》一 书中的第3章,第3.4节,作者:王宏志 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.4 小结
关联分析模型用于描述多个变量之间的关联,这是大数据分析的一种重要模型,本章主要探讨了回归分析、关联规则分析和相关分析这三类关联分析。3.1节介绍了回归分析模型,即描述一个或多个变量与其余变量的依赖关系,包括其基本定义和数学模型,并介绍了回归分析的基本计算方法和模型检验,紧接着介绍了回归模型的拓展,包括多项式回归、GBDT回归和XGBOOST回归,并且简要介绍了“回归大家族”,让读者对于整个回归问题有了全面的了解。3.2节讲述了关联规则分析模型,即查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。3.3节讨论了相关关系这种非确定性的关系,介绍了应用典型变量的典型相关分析问题,并介绍了阿里云的相关分析组件和相关实例。
习题

  1. 从20个样本中得到的有关回归结果是:SSR=60,SSE=40。要检验x与y之间的线性关系是否显著,即检验假设H0?∶?β1= 0。
    (1)线性关系检验的统计量F值是多少?

(2)给定显著性水平a=0.05,Fa是多少?
(3)是拒绝原假设还是不拒绝原假设?
(4)假定x与y之间是负相关,计算相关系数r。
(5)检验x与y之间的线性关系是否显著?

  1. 研究某一化学反应过程中温度x (℃)对产品成品率y (%)的影响,现测得若干数据(见表3-11):
    image

设对于给定的x、y为正态变量,且方差与x无关。
(1)试求线性回归方程;
(2)检验线性回归的合理性(取α = 0.05);
(3)若回归效果显著,试求x=135处y的置信度为0.95的预测区间。

  1. 某种水泥凝固时释放的热量y(cal/g)与3种化学成分x1、x2、x3(%)有关。现将观测的13组数据列于表3-12:
    image

试求y对x1、x2、x3的线性回归方程并作出检验(取α=0.05)。

  1. 一种合金在某种添加剂的不同浓度x (%)下其延伸系数y会有变化,为了研究这种关系,现进行16次试验,测得数据如下(见表3-13):
    image

(1)作出散点图。
(2)以=a0+a1x+a2x2为回归方程,确定其系数a0、a1、a2。

  1. 随机干扰项与残差项是否为一回事?若不是,写出二者的区别与联系。
  2. 为什么用R2评价拟合优度,而不用残差平方和作为评价的标准?
  3. (实现)从UCI数据集(https://archive.ics.uci.edu/ml/)中选取数据集,简单实现GDBT算法。
  4. 图3-22为购物篮事务:image

(1)计算{饼干},{啤酒,尿布},{啤酒,尿布,饼干}的支持度。
(2) 使用1)的计算结果,计算关联规则{啤酒,尿布}-> {饼干},{饼干}->{啤酒,尿布}的置信度。置信度是对称的度量吗?
(3)找出一对项a和b,使得规则{a}->{b}与{b}->{a}具有相同的置信度。

  1. 表3-14汇总了超市的事务数据。其中,cola表示包含可乐的事务,cola表示不包含可乐的事务,hamburgers表示包含汉堡包的事务,hamburgers表示不包含汉堡包的事务。
    image

(1) 假设挖掘出来关联规则{hambuger}->{cola}。给定最小支持度阈值是25%,最小置信度阈值为50%,该关联规则是强规则吗?
(2)根据给定的数据,买cola独立于买hamburger吗?如果不是,二者之间存在何种相关关系?

  1. 检查5位同学的学习时间与学习分数(见表3-15):
    image

学习时间与学习分数是否相关?若相关,求出其相关系数。

  1. 对140名学生进行了阅读速度x1、阅读能力x2、运算速度y1和运算能力y2的4种测验,所得成绩的相关系数矩阵为
    R=image

试对阅读本领与运算本领之间进行典型相关分析。

相关文章
|
7月前
|
机器学习/深度学习 数据采集 算法
大数据分析技术与方法探究
在当今信息化时代,数据量的增长速度远快于人类的处理能力。因此,如何高效地利用大数据,成为了企业和机构关注的焦点。本文将从大数据分析的技术和方法两个方面进行探究,为各行业提供更好的数据应用方向。
|
7月前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
1018 2
|
机器学习/深度学习 算法 大数据
|
存储 数据挖掘 大数据
大数据数据分析架构探究(二)
上一篇提到机器与机器之间交流,这里解释一下意思,其实说的是机器与机器间像人一样交流,但交流的密度更甚于人与人之间,甚至于远远超过人,因为它突破了很多人的限制。首先最重要突破的限制是交流的频率和交流的网络,交流的频率就是人与人交流一条消息的平均时间和机器与机器交流的时间的对比。
1282 0
|
存储 数据挖掘 大数据
大数据数据分析架构探究
从范式角度来讲,维度建模是以2NF的方式来描述数据,实体关系建模是以3NF的方式进行数据描述,由于分布式数据架构的兴起,使得维度建模得到了技术支持。换句话讲,现在数据增长的速度,对于现在的数据技术架构不再是技术瓶颈。
1591 0
|
Java 大数据 Linux
学习大数据分析需要什么基础?
顾名思义,大数据就是巨量数据,海量数据,也可以说是数量大,结构复杂,类型复杂的数据的集合。而从这些数据中获取有价值的信息的的能力,就是大数据技术。
1331 0
《大数据分析原理与实践》——小结
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第3章,小结,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1138 0
|
新零售 搜索推荐 大数据
《大数据分析原理与实践》——1.3 什么是大数据分析
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.3节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1793 0
|
存储 算法 数据挖掘
《大数据分析原理与实践》——1.4 大数据分析的过程、技术与难点
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第1章,第1.4节,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
3417 0
|
机器学习/深度学习 大数据
《大数据分析原理与实践》——第2章 大数据分析模型
本节书摘来自华章计算机《大数据分析原理与实践》一书中的第2章,作者 王宏志,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1490 0