《大数据分析原理与实践》一一3.3 相关分析

简介: 本节书摘来自华章出版社《大数据分析原理与实践》一 书中的第3章,第3.3节,作者:王宏志 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

3.3 相关分析
相关关系是一种非确定性的关系,例如,以X和Y分别表示一个人的身高和体重,或分别表示每公顷施肥量与每公顷小麦产量,则X与Y显然有关系,而又没有确切到可由其中的一个去精确地决定另一个的程度,这就是相关关系。在一些问题中,不仅经常需要考察两个变量之间的相关程度,而且还经常需要考察多个变量与多个变量之间即两组变量之间的相关关系。典型相关分析就是研究两组变量之间相关程度的一种多元统计分析方法。
典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究两组变量X1,X2,…,Xp和Y1,Y2,…,Yq之间的相关关系,采用类似于主成分分析(将在9.2节中介绍)的方法,在两组变量中,分别选取若干有代表性的变量组成有代表性的综合指数,通过研究这两组变量之间的相关关系,来代替这两组变量之间的相关关系,这些综合指数称为典型变量。
其基本思想是,首先在每组变量中找到变量的线性组合,使得两组线性组合之间具有最大的相关系数。然后选取和最初挑选的这对线性组合不相关的线性组合,使其配对,并选取相关系数最大的一对,如此继续下去,直到两组变量之间的相关性被提取完毕为止。被选取的线性组合配对称为典型变量,它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。image

我们用一个例子说明相关分析。为了研究家庭特征与家庭消费之间的关系,调查了70个家庭的下面两组变量之间的关系,见表3-6~表3-10。
x1:每年去餐馆就餐的频率,x2:每年外出看电影的频率。
y1:户主的年龄,y2:家庭的年收入,y3:户主受教育程度。
U1=0.7689x1+0.2721x2 V1=0.0491y1+0.8975y2+0.1900y3
U2=-1.4787x1+1.6443x2 V2=1.0003y1-0.5837y2+0.2956y3
两个反映消费的指标与第一对典型变量中U1的相关系数分别为0.9866和0.8872,可以看出U1可以作为消费特性的指标,第一对典型变量中V1与y2之间的相关系数为0.9822,可见典型变量V1主要代表了家庭收入,U1和V1的相关系数为0.6879,这就说明家庭的消费与一个家庭的收入之间关系是很密切的;第二对典型变量中U2和x2的相关系数为0.4614,可以看出U2可以作为文化消费特性的指标,第二对典型变量中V2与y1和y3之间的相关系数分别为0.8464和0.3013,可见典型变量V2主要代表了家庭成员的年龄特征和教育程度,U2和V2的相关系数是0.1869,说明文化程度与年龄和受教育程度之间的相关性。image

基于阿里云的相关分析
下面我们用一个例子来说明如何基于阿里云平台进行相关分析。
Center for World University Rankings组织对全世界大部分大学进行了排名,其排名根据教育质量、教师质量、毕业生就业情况、出版刊物数量等一系列指标进行评分。我们获取该数据集并对其中的特征进行相关分析,从而了解每个特征之间的关系。前10条数据以及部分特征如表3-10所示。
image

我们想要计算出数值型特征之间的相关关系,首先进行数据导入。新建项目,自定义表名cwurdata,在“添加字段页面”添加相应的字段及字段类型(一旦表建成,字段名及字段类型不可变。此后的字段信息设置均参考此处),如图3-17所示。
建表成功后,在阿里云大数据开发平台“数据开发”层级下,单击“更多功能”按钮, 选择“导入本地数据”(注意:本地数据中字段值内不能含有分隔符,阿里云平台无法智能识别)如图3-18所示。
image

图3-17 添加字段及字段类型
image

图3-18 本地数据导入
若本地数据文件中的字段与表中字段不匹配,需手动进行字段匹配,如图3-19所示。
最后提示导入成功。
其分析组件布局如图3-20所示。其中,在相关系数矩阵组件中选择想要进行相关系数计算的列。设置完毕后,运行组件。运行成功后,在相关系数矩阵组件上右击,选择“查看数据”得到相关系数矩阵,如图3-21所示。
从结果数据可以看出,学校得分与教师质量最为相关,教育质量与教师质量最为相关,毕业生就业情况与教育质量最为相关,影响力与出版刊物数量最为相关。
image

图3-19 字段匹配
image
image

图3-21 相关系数矩阵

相关文章
|
1月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
58 4
|
6天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
31 2
|
1月前
|
SQL 消息中间件 分布式计算
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
66 5
|
9天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
50 14
|
14天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
47 2
|
16天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
16天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
18天前
|
人工智能 供应链 搜索推荐
大数据分析:解锁商业智能的秘密武器
【10月更文挑战第31天】在信息爆炸时代,大数据分析成为企业解锁商业智能的关键工具。本文探讨了大数据分析在客户洞察、风险管理、供应链优化、产品开发和决策支持等方面的应用,强调了明确分析目标、选择合适工具、培养专业人才和持续优化的重要性,并展望了未来的发展趋势。
|
1月前
|
存储 SQL 分布式计算
湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
【10月更文挑战第7天】湖仓一体架构深度解析:构建企业级数据管理与分析的新基石
68 1
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
35 4