3.4 小结
关联分析模型用于描述多个变量之间的关联,这是大数据分析的一种重要模型,本章主要探讨了回归分析、关联规则分析和相关分析这三类关联分析。3.1节介绍了回归分析模型,即描述一个或多个变量与其余变量的依赖关系,包括其基本定义和数学模型,并介绍了回归分析的基本计算方法和模型检验,紧接着介绍了回归模型的拓展,包括多项式回归、GBDT回归和XGBOOST回归,并且简要介绍了“回归大家族”,让读者对于整个回归问题有了全面的了解。3.2节讲述了关联规则分析模型,即查找存在于项目集合或对象集合之间的频繁模式、关联、相关性或因果结构。3.3节讨论了相关关系这种非确定性的关系,介绍了应用典型变量的典型相关分析问题,并介绍了阿里云的相关分析组件和相关实例。
习题
- 从20个样本中得到的有关回归结果是:SSR=60,SSE=40。要检验x与y之间的线性关系是否显著,即检验假设H0?∶?β1= 0。
(1)线性关系检验的统计量F值是多少?
(2)给定显著性水平a=0.05,Fa是多少?
(3)是拒绝原假设还是不拒绝原假设?
(4)假定x与y之间是负相关,计算相关系数r。
(5)检验x与y之间的线性关系是否显著?
- 研究某一化学反应过程中温度x (℃)对产品成品率y (%)的影响,现测得若干数据(见表3-11):
设对于给定的x、y为正态变量,且方差与x无关。
(1)试求线性回归方程;
(2)检验线性回归的合理性(取α = 0.05);
(3)若回归效果显著,试求x=135处y的置信度为0.95的预测区间。
- 某种水泥凝固时释放的热量y(cal/g)与3种化学成分x1、x2、x3(%)有关。现将观测的13组数据列于表3-12:
试求y对x1、x2、x3的线性回归方程并作出检验(取α=0.05)。
- 一种合金在某种添加剂的不同浓度x (%)下其延伸系数y会有变化,为了研究这种关系,现进行16次试验,测得数据如下(见表3-13):
(1)作出散点图。
(2)以=a0+a1x+a2x2为回归方程,确定其系数a0、a1、a2。
- 随机干扰项与残差项是否为一回事?若不是,写出二者的区别与联系。
- 为什么用R2评价拟合优度,而不用残差平方和作为评价的标准?
- (实现)从UCI数据集(https://archive.ics.uci.edu/ml/)中选取数据集,简单实现GDBT算法。
- 图3-22为购物篮事务:
(1)计算{饼干},{啤酒,尿布},{啤酒,尿布,饼干}的支持度。
(2) 使用1)的计算结果,计算关联规则{啤酒,尿布}-> {饼干},{饼干}->{啤酒,尿布}的置信度。置信度是对称的度量吗?
(3)找出一对项a和b,使得规则{a}->{b}与{b}->{a}具有相同的置信度。
- 表3-14汇总了超市的事务数据。其中,cola表示包含可乐的事务,cola表示不包含可乐的事务,hamburgers表示包含汉堡包的事务,hamburgers表示不包含汉堡包的事务。
(1) 假设挖掘出来关联规则{hambuger}->{cola}。给定最小支持度阈值是25%,最小置信度阈值为50%,该关联规则是强规则吗?
(2)根据给定的数据,买cola独立于买hamburger吗?如果不是,二者之间存在何种相关关系?
- 检查5位同学的学习时间与学习分数(见表3-15):
学习时间与学习分数是否相关?若相关,求出其相关系数。
- 对140名学生进行了阅读速度x1、阅读能力x2、运算速度y1和运算能力y2的4种测验,所得成绩的相关系数矩阵为
R=
试对阅读本领与运算本领之间进行典型相关分析。