机器学习系列(13)_PCA对图像数据集的降维_02(上)

简介: 【1】降维:会减少特征,删除数据,可能使得模型受影响【2】噪音:衡量特征之间的线性相关【3】PCA(主成分分析)使用样本方差作为信息量衡量的指标

一、PCA降维



1、降维究竟是怎样实现的


【1】降维:会减少特征,删除数据,可能使得模型受影响

【2】噪音:衡量特征之间的线性相关

【3】PCA(主成分分析)使用样本方差作为信息量衡量的指标

(在PCA当中,以信息量作为衡量标准指的就是样本方差)


a5e87c56c20d4c49bbc582be76acced3.png

参数:

【1】Var:特征方差

【2】n:样本量

【3】xi:特征当中的样本值

【4】x^hat:列样本均值


如下图实现从二维到一维的降维过程,即通过对坐标轴进行旋转,使得样本数据落在X轴上,变成一维的数据。


当然,实际情况肯定不是通过旋转坐标轴的方式进行降维的,而是通过一定的数学分析计算实现的。(比如支持向量机SVM)

5e24826dbc854afea002e31b55b561b4.png


首先:去中心化(把坐标原点放在数据中心,与均值有关)

然后:找坐标系(找到方差最大的方向)

由下面这个公式可以看出,从二维降到一维,但是样本数据的方差是不变的。


382e2a4ad8d945f0b4fe9f2a9e1fd9f5.png

image.png

RSD定义:相对标准偏差(relative standard deviation;RSD)又叫标准偏差系数、变异系数、变动系数等,由标准偏差除以相应的平均值乘100%所得值,可在检验检测工作中分析结果的精密度。


2、二维特征矩阵降维的一般过程


6a5968b90b564bc799536e960bc1a753.png

关于上图当中的n维特征矩阵的降维后的特征数量是k个,应该如何寻找?

我们可以通过学习曲线,找到当数值趋于一定的范围时会保持不变,这是就找到k值了。

比如下图当中的15就是k值:

image.png


关键步骤:找出n个新的特征向量,让数据能够被压缩到少数特征上并且总信息量不损失太多的技术就是矩阵分解


3、PCA降维与特征选择的不同



特征选择是从已存在的特征中选取携带信息最多的,选完之后的特征依然具有可解释性,依然知道这个特征在原数据的哪个位置,代表着原数据上的什么含义。


PCA在新的特征矩阵生成之前,无法知晓PCA都建立了怎样的新特征向量,新特征矩阵生成之后也不具有可读性。


PCA一般不适用于探索特征和标签之间的关系的模型(如线性回归),因为无法解释的新特征和标签之间的关系不具有意义。在线性回归模型中,使用特征选择


二、 PCA与SVD



PCA与SVD是两种不同的降维算法,但是他们都遵从上面的过程来实现降维,只是两种算法中矩阵分解的步骤不同,信息量衡量的指标不同。PCA使用方差作为信息量衡量的指标,并通过特征值分解来找出空间V。

SVD包含PCA的所有功能。

SVD使用奇异值分解找出空间V,在降维是会产生协方差矩阵,将特征矩阵X分解为三个矩阵。

注意:


数据预处理,只有数值型数据才能进行PCA

无论是PCA还是SVD都要遍历所有的特征和样本来计算信息量指标,并且在矩阵分解的过程中,会产生比原矩阵更大的矩阵,比如原数据结构是(m,n),在矩阵分解中为了找出最佳的新特征空间V,可能需要产生(n,n)(m,m)大小的矩阵,还需要产生协方差矩阵去计算更多的信息。


1、重要参数n_components


【1】降维后所需要的维度,即降维后需要保留的特征数量

【2】需要确认的K值,一般输入[0,min(X.shape)]范围中的整数。太大达不到降维效果,太小无法还原原始数据所内含的大部分信息,会丢失需要内含的参数。


2、迷你案例:高维数据的可视化(鸢尾花)


# 1. 调用库和模块
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
# 2. 提取数据集
iris = load_iris()
y = iris.target
X = iris.data
X.shape  #二维数组

c807e9b65aba4ea4bf6f9a47b7dc4047.png

# 3. 建模
#调用PCA
pca = PCA(n_components=2) #实例化,从4维降到2维
pca = pca.fit(X) #拟合模型
pca
X_dr = pca.transform(X) #获取新矩阵  dimeesion reduction  降维
X_dr
  • 使用PCA当中的n_components=2参数进行降维,如果n_components=1则会降维成一维,但是数据仍然是使用二维数组的形式来表示,因为sklearn很多情况下只能使用二维以上的数据。


  • 上面的建模代码可以使用下面的这句代码一部就完成,因为fit_transform()函数相当于完成了fit和transform两步操作。
X_dr=PCA(2).fit_transform(X)  #一步完成新矩阵的获取


d1741e12124f41a7a319415d8f89c51e.png

7411d1d73ecf47f2bfaf2a1fdcee52ef.png

# 4.可视化
X_dr[y==0,0]
X_dr[y==1,0]
X_dr[y==2,0]

逗号后面的0表示提取的是第一维度的特征

5eb851ed5bc64d1e862a3d6ac082681c.png

方法一:

plt.figure()
plt.scatter(X_dr[y==0, 0], X_dr[y==0, 1], c="red", label=iris.target_names[0])
plt.scatter(X_dr[y==1, 0], X_dr[y==1, 1], c="black", label=iris.target_names[1])
plt.scatter(X_dr[y==2, 0], X_dr[y==2, 1], c="orange", label=iris.target_names[2])
plt.legend()
plt.title('PCA of IRIS dataset')
plt.show()

方法二:

#等价
colors = ['red', 'black', 'orange']
iris.target_names
plt.figure()
for i in [0, 1, 2]:
    plt.scatter(X_dr[y == i, 0]
    ,X_dr[y == i, 1]
    ,alpha=.7
    ,c=colors[i]
    ,label=iris.target_names[i]
    )
plt.legend()
plt.title('PCA of IRIS dataset')
plt.show()

方法三:

#等价
%matplotlib inline
%config InlineBackend.figure_format = 'svg'
colors = ['red', 'black', 'orange']
plt.figure() # 初始化一个画布
for i in [0, 1, 2]:
    plt.scatter(X_dr[y == i, 0], X_dr[y == i, 1], alpha=0.7, c=colors[i], label=iris.target_names[i])
plt.legend() # 加图例
plt.title('PCA of IRIS dataset') # 加标题
plt.show()

adf797bc3c9d40208748792727022017.png


# 6、探索降维之后的数据
# 对降维之后两个特征进行比较
pca.explained_variance_
pca.explained_variance_ratio_

【1】explained_variance :查看降维之后每个新特征向量上所带的信息量大小,可解释性的方差大小,方差越大,该特征越重要

【2】explained_variance_ratio :查看降维后每个新特征向量所占的信息量占原始数据总信息量的比例

5af156dbf3984298b36d2c997e57bacc.png86c393c468044cf2886665c63f482107.png

# 7. 选择最好的n_components:累积可解释方差贡献率曲线
import numpy as np
pca_line = PCA().fit(X)
# pca_line.explained_variance_ratio_  四个特征中每个保留信息量的百分比
plt.plot([1,2,3,4],np.cumsum(pca_line.explained_variance_ratio_))
plt.xticks([1,2,3,4]) #这是为了限制坐标轴显示为整数
plt.xlabel("number of components after dimension reduction")
plt.ylabel("cumulative explained variance ratio")
plt.show()

上面代码当中的plt.plot([1,2,3,4]中的1,2,3,4本质上改变的就是参数n_components

下图X轴表示:降维之后剩下的特征个数。Y轴表示:降维后的准确率。

9ec98331ddab4d82805453280f673a50.png

就上图而言,只有4个维度,较少,没有必要降维,但如果在维数较大的情况下,我们会选择2,因为2的正确率有转折点。

9a284f3bf2354e4e8a8d1d982e69e7f1.png


3、最大似然估计自选超参数


n_components还有哪些可选择?

最大似然估计:maximum likelihoodestimation mle 利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数值。


对于P(x∣θ)这个函数,输入有两个:x表示某一个具体的数据,θ表示模型的参数


如果θ是已知确定的, x是变量,这个函数叫做概率函数(probability function),它描述对于不同的样本点 x,其出现概率是多少。


如果 x是已知确定的,θ是变量,这个函数叫做似然函数(likelihood function), 它描述对于不同的模型参数,出现 x这个样本点的概率是多少。

pca_mle = PCA(n_components="mle")
pca_mle = pca_mle.fit(X)
X_mle = pca_mle.transform(X)
X_mle  #mle自动选择了多少个特征
# mle:自动选择了3个特征

3d33fdcd638449748e0a7a57c7717595.png


4、按信息量占比选超参数


  • n_componets=0.97代表PCA会自动选出能够让保留的信息量超过97%的特征数量
pca_f = PCA(n_components=0.97,svd_solver="full")
pca_f = pca_f.fit(X)
X_f = pca_f.transform(X)
pca_f.explained_variance_ratio_  #mle自动选择了多少个特征

e2461776ab8345379177e8c0913f3105.png

从上图可以看出,如果选择两个保留的信息量超过97%,则应该选择保留两个特征。

pca_f.explained_variance_ratio_.sum()

b7dc39aaeb9c48b6a0e7d0c6b2c73884.pngb989f75a6f3e41d5b8a6bb4b7c0e0720.png

相关文章
|
15天前
|
机器学习/深度学习 算法 数据可视化
机器学习第11天:降维
机器学习第11天:降维
|
15天前
|
机器学习/深度学习 算法 数据可视化
JAMA | 机器学习中的可解释性:SHAP分析图像复刻与解读
JAMA | 机器学习中的可解释性:SHAP分析图像复刻与解读
464 1
|
15天前
|
机器学习/深度学习 算法 数据可视化
Python | 机器学习之PCA降维
Python | 机器学习之PCA降维
47 0
|
7天前
|
机器学习/深度学习 小程序 计算机视觉
机器学习寻找数据集—动态网站获取
机器学习寻找数据集—动态网站获取
|
12天前
|
机器学习/深度学习 数据采集 人工智能
论文介绍:机器学习中数据集规模增长的极限分析
【5月更文挑战第17天】论文《机器学习中数据集规模增长的极限分析》探讨了数据集大小对AI模型性能的影响,预测语言数据可能在2026年前耗尽,图像数据在2030-2060年可能面临相同问题。研究显示数据积累速度无法跟上数据集增长,可能在2030-2040年间导致训练瓶颈。然而,算法创新和新数据源的发展可能缓解这一问题。[链接](https://arxiv.org/pdf/2211.04325.pdf)
35 2
|
15天前
|
机器学习/深度学习 分布式计算 并行计算
【机器学习】怎样在非常大的数据集上执行K-means算法?
【5月更文挑战第13天】【机器学习】怎样在非常大的数据集上执行K-means算法?
|
15天前
|
机器学习/深度学习 数据采集 SQL
【Python机器学习专栏】使用Pandas处理机器学习数据集
【4月更文挑战第30天】本文介绍了如何使用Python的Pandas库处理机器学习数据集,涵盖数据读取、概览、清洗、转换、切分和保存等步骤。通过Pandas,可以从CSV等格式加载数据,进行缺失值、异常值处理,数据类型转换,如归一化、类别编码,并实现训练集与测试集的划分。此外,还展示了如何保存处理后的数据,强调了Pandas在数据预处理中的重要性。
|
15天前
|
机器学习/深度学习 算法 数据可视化
机器学习——主成分分析(PCA)
机器学习——主成分分析(PCA)
30 0
|
15天前
|
机器学习/深度学习 搜索推荐 数据可视化
机器学习中7种常用的线性降维技术总结
上篇文章中我们主要总结了非线性的降维技术,本文我们来总结一下常见的线性降维技术。
89 6
|
15天前
|
机器学习/深度学习 存储 算法
机器学习中的10种非线性降维技术对比总结
降维意味着我们在不丢失太多信息的情况下减少数据集中的特征数量,降维算法属于无监督学习的范畴,用未标记的数据训练算法。
134 4