【算法系列】主成分分析的几何意义

简介: 【算法系列】主成分分析的几何意义

书接上文:


【算法系列】主成分分析的数学模型


由上面的介绍我们知道,在处理涉及多个指标问题的时候,为了提高分析的效率,可以不直接对P个指标构成的P维随机向量640.png 进行分析,而是先对向量x进行线性变换,形成少数几个新的综合变量y1,y2,…,ym,使得各综合变量之间相互独立且能解释原始变量尽可能多的信息,这样,在以损失很少部分信息为代价的前提下,达到简化数据结构,提高分析效率的目的。


主成分分析的几何意义


设有N个样品,每个样品有两个观测变量X1,X2,这样,在由变量X1,X2组成的坐标空间中,N个样品散布的情况如带状,如下图。


640.png


上图中的N个样本点,无论沿着X1轴方向还是X2轴方向,都有较大的离散性,其离散程度可以分别用观测变量X1的方差或X2的方差测定。


当只考虑X1和X2中的任何一个时,原始数据中的信息将会有较大的损失。

考虑X1和X2的线性组合,使原始样品数据可以由新的变量Y1和Y2来刻画,在几何上表示就是将坐标轴按逆时针方向旋转640.png,得到新坐标轴Y1和Y2 。640.png

640.png



其矩阵形式为

640.png

U为旋转变换矩阵,且640.png,即是正交矩阵。


经过这样的旋转之后,N个样品在Y1轴上的离散程度最大(方差最大),变量Y1代表了原始数据的绝大部分信息,即使不考虑变量Y2,信息损失也不多。而且, Y1、 Y2不相关。只考虑Y1时,二维降为一维。

因此,经过上述旋转变换就可以把原始数据的信息集中到Y1轴上,对数据中包含的信息起到了浓缩的作用,进行主成分分析的目的就是找出转换矩阵U,而进行主成分分析的作用与几何意义也就很明了了。

相关文章
|
13天前
|
算法
计算机算法设计与分析(1-6章 复习笔记)
计算机算法设计与分析(1-6章 复习笔记)
|
8天前
|
机器学习/深度学习 人工智能 自然语言处理
【机器学习】贝叶斯算法在机器学习中的应用与实例分析
【机器学习】贝叶斯算法在机器学习中的应用与实例分析
26 1
|
10天前
|
算法 Java Go
斐波那契数列是一个非常经典的数学问题,在计算机科学中也经常被用作算法设计和分析的例子。
斐波那契数列是一个非常经典的数学问题,在计算机科学中也经常被用作算法设计和分析的例子。
|
23天前
|
算法 NoSQL Python
开山之作!Python数据与算法分析手册,登顶GitHub!
若把编写代码比作行军打仗,那么要想称霸沙场,不能仅靠手中的利刃,还需深谙兵法。 Python是一把利刃,数据结构与算法则是兵法。只有熟读兵法,才能使利刃所向披靡。只有洞彻数据结构与算法,才能真正精通Python。
|
21天前
|
存储 算法 Java
图像分析之连通组件标记算法
图像分析之连通组件标记算法
68 1
|
29天前
|
算法 NoSQL Python
开山之作!Python数据与算法分析手册,登顶GitHub!
若把编写代码比作行军打仗,那么要想称霸沙场,不能仅靠手中的利刃,还需深谙兵法。 Python是一把利刃,数据结构与算法则是兵法。只有熟读兵法,才能使利刃所向披靡。只有洞彻数据结构与算法,才能真正精通Python
|
14天前
|
人工智能 算法
计算机算法设计与分析 第3章 动态规划 (笔记)
计算机算法设计与分析 第3章 动态规划 (笔记)
|
14天前
|
算法 C++
计算机算法设计与分析 第2章 递归与分治策略 (笔记)
计算机算法设计与分析 第2章 递归与分治策略 (笔记)
|
14天前
|
算法
计算机算法设计与分析 第1章 算法概述 (笔记)
计算机算法设计与分析 第1章 算法概述 (笔记)
|
18天前
|
存储 算法 数据挖掘
LeetCode 题目 43:字符串相乘 多种算法分析对比 【python】
LeetCode 题目 43:字符串相乘 多种算法分析对比 【python】