书接上文:
由上面的介绍我们知道,在处理涉及多个指标问题的时候,为了提高分析的效率,可以不直接对P个指标构成的P维随机向量 进行分析,而是先对向量x进行线性变换,形成少数几个新的综合变量y1,y2,…,ym,使得各综合变量之间相互独立且能解释原始变量尽可能多的信息,这样,在以损失很少部分信息为代价的前提下,达到简化数据结构,提高分析效率的目的。
主成分分析的几何意义
设有N个样品,每个样品有两个观测变量X1,X2,这样,在由变量X1,X2组成的坐标空间中,N个样品散布的情况如带状,如下图。
上图中的N个样本点,无论沿着X1轴方向还是X2轴方向,都有较大的离散性,其离散程度可以分别用观测变量X1的方差或X2的方差测定。
当只考虑X1和X2中的任何一个时,原始数据中的信息将会有较大的损失。
考虑X1和X2的线性组合,使原始样品数据可以由新的变量Y1和Y2来刻画,在几何上表示就是将坐标轴按逆时针方向旋转,得到新坐标轴Y1和Y2 。
其矩阵形式为
U为旋转变换矩阵,且,即是正交矩阵。
经过这样的旋转之后,N个样品在Y1轴上的离散程度最大(方差最大),变量Y1代表了原始数据的绝大部分信息,即使不考虑变量Y2,信息损失也不多。而且, Y1、 Y2不相关。只考虑Y1时,二维降为一维。
因此,经过上述旋转变换就可以把原始数据的信息集中到Y1轴上,对数据中包含的信息起到了浓缩的作用,进行主成分分析的目的就是找出转换矩阵U,而进行主成分分析的作用与几何意义也就很明了了。