【算法系列】主成分分析的数学模型

简介: 【算法系列】主成分分析的数学模型

定义


主成分分析又称主分量分析或主轴分析,是将多个指标化为少数几个综合指标的一种多元统计分析方法.从数学角度来看,这是一种降维处理技术。通常把转化生成的综合指标称之为主成分。


主成分分析基本思想


在实证数据分析研究中,人们为了尽可能完整地搜集信息,对于每个样本往往要观测它的很多指标,少到四、五项,多则几十项。例如:人口普查往往要调查每个人的姓名、年龄、性别、文化程度、职业、住房等几十项指标。从搜集资料的角度看,多记录几项可以避免重要信息的遗漏,但是由于这些指标从统计角度来看相互之间有一定的依赖关系,因而使得所观测的数据在一定程度上反映的信息有所重叠。因此,从统计分析或推断的角度来说,人们总是希望能把大量的原始指标组合成较少的几个综合指标,从而使分析简化。这些综合指标的变化要能大体上反映样本全部指标的变化,而不丧失或者只丧失很少一部分原始指标所提供的信息。


例如:一个人的身材需要用好多项指标才能完整地描述,诸如身高、臂长、腿长、肩宽、胸围、腰围、臀围等等,但人们购买衣服时一般只用长度和肥瘦两个指标就够了,这里长度和肥瘦就是描述人体形状的多项指标组合而成的两个综合指标。


主成分分析的一般数学模型


640.png


640.png


1、通常,一些变量具有不同的量纲,有的变量值数量级上也有很大差异,在应用主成分分析研究实际问题时,不同的量纲和数量级会引出新的问题;为了消除由于量纲的不同可能带来的一些不合理的影响,在进行主成分分析之前先对数据进行标准化处理。


640.png


2、为了方便,将数据标准化后的矩阵仍用原来的x记,考虑它的线性变换——新的综合变量由原来的变量x1,x2,…,xP线性表示,即:


640.png


由于可以任意地对原始变量进行上述线性变换,由不同的线性变换得到的综合变量y的统计特性也不尽相同。


假如我们希望用y1来代替原来的p个变量x1,x2,…,xP,这就要求y1尽可能多地反映原来p个变量的信息,即希望y1是x1,x2,…,xP的一切线性函数中方差最大的。


为什么要用方差的大小来寻找主成分


举例说:反映城镇居民生活消费状况的指标通常有8个(食品、衣着、日用品、…),我们希望由这8个指标线性组合成一个新指标,亦即一个可以帮助我们衡量各地城镇居民总体生活消费状况的综合性指标,当然也希望此指标能真正显出消费程度的差异(富裕的、贫穷的),所以此指标方差越大,便代表它对居民消费程度差异拥有越大的反映及解释能力。


因此,p个原始观测变量的第一主成分就应该是这p个原始观测变量的所有线性组合中方差最大的那个综合指标,第二主成分就应该是这p个原始观测变量的所有线性组合中方差次大的那个综合指标,∙∙∙,第p个主成分就应该是这p个原始观测变量的所有线性组合中方差第p大的那个综合指标。

640.png

640.png

640.jpg



如果第一主成分不足以代表原来p个变量的绝大部分信息,则往往还要计算p个原始指标的第二主成分y2。为了有效地代表原变量的信息,第一主成分(y1)已反映(体现)的信息不希望在第二主成分(y2)中出现,用统计语言来讲,就是要  640.png

于是求第二主成分(y2),就是在约束条件640.png和cov (y2,y1)=0下,求a2使Var(y2)达到最大,所求之y2称为第二主成分。类似地可求得第三主成分、第四主成分等等。  


综上所述,我们将线性变换约束在下面的原则之下:

(1)640.png640.png


(2)yi与yj(i≠j;i,j=1,2,…,p)相互无关;


(3)y1是x1,x2,…,xp的一切满足原则(1)的线性组合中方差最大者;y2是与y1不相关的  x1,x2,…,xp的所有线性组合中方差最大者;…;yp是与y1,y2,……yp-1都不相关的x1,x2,…,xp的所有线性组合中方差最大者。

基于以上三条原则决定的新(综合)变量y1,y2,…,yp分别称为原始变量x1,x2,…,xp的第一,第二,…,第p个主成分。其中,y1在总方差中占的比例最大,y2,y3,…,yp的方差依次递减。


后记


在商务与经济中,常常需要将很复杂的数据集综合成商业指数形式,也就是说将p个指标所构成的p维系统简化为一维系统,一些熟悉的例子如物价指数、生活费用指数等,这些指数是由各种加权成分所组成的,在某种意义上,这些权数反映了各种成分相对重要性的数量,从主成分的观点来探讨这个问题,主成分分析所构成的第一主成分正是这一问题的答案,它提供了自身的权重系数。)

640.png


下节我们介绍主成分分析的几个意义,敬请期待。

相关文章
|
17天前
|
JSON 监控 算法
员工上网行为监控:利用Scala编写数据处理和分析算法
企业在数字化时代利用Scala进行员工上网行为监控,以确保合规和网络安全。通过Scala的数据处理和分析能力,读取CSV日志数据转换为DataFrame,分析员工行为,如统计最常访问网站。此外,还展示了将监控数据以JSON格式提交至公司网站的函数,实现实时信息更新与安全防护。
61 5
|
5天前
|
机器学习/深度学习 自然语言处理 算法
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
|
11天前
|
机器学习/深度学习 算法 数据可视化
Matlab决策树、模糊C-均值聚类算法分析高校教师职称学历评分可视化
Matlab决策树、模糊C-均值聚类算法分析高校教师职称学历评分可视化
|
13天前
|
算法 搜索推荐 数据挖掘
MATLAB模糊C均值聚类FCM改进的推荐系统协同过滤算法分析MovieLens电影数据集
MATLAB模糊C均值聚类FCM改进的推荐系统协同过滤算法分析MovieLens电影数据集
|
13天前
|
算法 数据可视化 数据挖掘
数据分享|R语言改进的K-MEANS(K-均值)聚类算法分析股票盈利能力和可视化
数据分享|R语言改进的K-MEANS(K-均值)聚类算法分析股票盈利能力和可视化
|
13天前
|
数据采集 存储 算法
数据分享|Weka数据挖掘Apriori关联规则算法分析用户网购数据
数据分享|Weka数据挖掘Apriori关联规则算法分析用户网购数据
|
16天前
|
机器学习/深度学习 数据采集 算法
共享单车需求量数据用CART决策树、随机森林以及XGBOOST算法登记分类及影响因素分析
共享单车需求量数据用CART决策树、随机森林以及XGBOOST算法登记分类及影响因素分析
|
17天前
|
移动开发 算法 数据可视化
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例
|
18天前
|
算法 数据可视化 搜索推荐
数据分享|Python用Apriori算法关联规则分析亚马逊购买书籍关联推荐客户和网络图可视化
数据分享|Python用Apriori算法关联规则分析亚马逊购买书籍关联推荐客户和网络图可视化
|
18天前
|
算法 数据可视化 大数据
圆堆图circle packing算法可视化分析电商平台网红零食销量采集数据
圆堆图circle packing算法可视化分析电商平台网红零食销量采集数据