主成分分析

简介: 主成分分析

1 主成分分析 简介

主成分分析(Principal Component Analysis,PCA),是考察多个变量间相关性的一种多元统计方法,基本思想[1]就是在保留原始变量尽可能多的信息的前提下达到降维的目的,从而简化问题的复杂性并抓住问题的主要矛盾。最后筛选出的几个替代原始数据的变量被称为主成分,它们是原始变量的线性组合,关系图如下:

2 主成分分析 步骤

  • 构建原始数据矩阵;
  • 消除量纲——数据标准化;
  • 建立协方差矩阵(或相关系数矩阵);
  • 求出特征值、特征向量;
  • 根据方差、累计方差贡献率确定主成分个数;
  • 求出综合得分,给出现实意义的解释。

3 R语言实战

依据《R语言实战》提供的实例,下面用psych程序包中的USJudgeRatings数据集进行主成分分析,这个数据集描述的是律师对美国高等法院法官的评分情况,部分数据集及各变量含义如下所示:

>install.packages("psych")
>library(psych)
>USJudgeRatingsz

3.1 数据预处理

数据集中的CONT变量表示的是律师与法官的联系次数,由于该变量对评分情况没有影响,考虑在进行主成分分析时将其剔除,用cor函数检查变量间的相关性。

从相关系数矩阵中可以发现,有几个变量之间的相关性还是非常强的,表明这份数据适合做主成分分析。

3.2 构建主成分模型

R中构建主成分模型的常用函数有pricipal()princomp(),两者不同之处在于: pricipal() 只返回最佳nfactor的子集,而princomp() 将会得到和变量个数一样多的主成分。

  • 使用psych包中的pricipal()
>pc<-principal(USJudgeRatings,nfactors=1)
>pc

  • 使用基础函数pricomp()
>pc<-princomp(USJudgeRatings,cor=T)
>summary(pc)

运行结果如下所示:

3.3 确定主成分个数

原则[2]

  • 根据先验经验和理论知识判断主成分个数
  • 根据解释变量的累积方差贡献率来判断主成分个数
  • 通过检查变量间的相关系数矩阵来判断保留的主成分个数

碎石图能够直观地展现要选择的主成分数目,图中急剧的中断表明需要提取的主成分的适当数量,从图中可知最佳的主成分个数为1。

>fa.parallel(cor(USJudgeRatings),fa="pc",n.iter = 100,show.legend = F,main = "Scree plot with parallel analysis")

3.4 提取主成分

pricipal() 和碎石图的运行结果可知,第一主成分(PC1)与每一个变量都高度相关,也就是说,PC1是一个可用来进行一般性评价的维度。

运行结果中的h2指主成分对每个变量的方差解释度,u2指方差无法被主成分解释的比例。例如,法官正直度(INTG)84%的方差可以用PC1来解释,15.65%的方差不能由PC1来解释。SS loadings行包含了与主成分相关联的特征值。Proportion Var行表示的是每个主成分对整个数据集的解释程度。

3.5 主成分旋转

旋转后得到的主成分能更容易的解释原始变量,常用的旋转方法有:

  • 正交旋转:旋转后的主成分不相关
  • 斜交旋转:旋转后的主成分相关

本例中采用正交旋转中的方差极大旋转进行分析:

>rc<-principal(USJudgeRatings,nfactors = 1,rotate="varimax")
> rc

旋转后的结果如下:

3.6 计算主成分得分

  • 从原始数据中获取主成分得分
pc<-principal(USJudgeRatings,nfactors = 1,scores=T )
pc$scores

  • 当主成分分析基于相关系数矩阵时,无法从原始数据获得主成分得分,但是可以计算主成分得分的系数。
rc<-principal(cor(USJudgeRatings),nfactors = 1)

4 模型评价

从运行结果可知,PC1的累积方差贡献率为0.92,说明第一主成分可以解释原始变量92%的方差变化,模型拟合效果良好。

参考资料

[1]

基本思想: 《多元统计分析第5版_何晓群》

[2]

原则: 《R语言实战》


目录
相关文章
|
7月前
|
数据采集 机器学习/深度学习 搜索推荐
大模型开发: 描述主成分分析(PCA)以及它在降维中的应用。
PCA是广泛应用的降维技术,通过线性变换找到最大化方差的主成分,降低数据维度,简化计算并揭示数据结构。步骤包括数据预处理、计算协方差矩阵、特征值分解、选择主成分和数据转换。适用于图像识别、推荐系统等领域,但无监督性质可能导致类别信息丢失,且假设数据服从高斯分布。
126 1
|
7月前
|
数据采集 数据可视化 数据挖掘
使用R语言进行主成分分析(PCA)
【4月更文挑战第26天】本文介绍了如何使用R语言进行主成分分析(PCA),包括安装必要包`stats`、`FactoMineR`和`factoextra`,数据预处理如标准化,使用`PCA()`函数执行PCA,以及通过`summary()`、`fviz_pca_ind()`和`fviz_pca_var()`进行结果解读和可视化。此外,还讨论了如何通过载荷系数解释主成分,强调PCA在数据降维和探索数据结构中的作用。
332 1
|
7月前
|
算法 数据可视化 Python
使用Python实现主成分分析(PCA)
使用Python实现主成分分析(PCA)
269 4
|
数据可视化 算法
13张动图快速理解马尔科夫链、PCA、贝叶斯!
本文用可视化的方式来解释抽象的理论概念,使这些抽象概念变得生动而立体!
|
机器学习/深度学习 数据可视化 算法
通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)
通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)
504 1
通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)
|
机器学习/深度学习 数据可视化 算法
.Kmeans无监督学习主成分分析(PCA)
.Kmeans无监督学习主成分分析(PCA)
230 0
.Kmeans无监督学习主成分分析(PCA)
|
机器学习/深度学习 算法 搜索推荐
|
数据采集
主成分分析
主成分分析(Principal Component Analysis,PCA),是考察多个变量间相关性的一种多元统计方法,基本思想[1]就是在保留原始变量尽可能多的信息的前提下达到降维的目的,从而简化问题的复杂性并抓住问题的主要矛盾。最后筛选出的几个替代原始数据的变量被称为主成分,它们是原始变量的线性组合
451 0
主成分分析
|
机器学习/深度学习 算法 计算机视觉
下一篇
DataWorks