【阿旭机器学习实战】【22】特征降维实战---主成分分析(PCA)与线性判别分析算法(LDA)

简介: 【阿旭机器学习实战】【22】特征降维实战---主成分分析(PCA)与线性判别分析算法(LDA)

1. 特征降维的主要目的


1)在实际的项目中经常会遭遇到特征维度非常高的样本(比如图片),往往无法借助于自己领域的知识来构建有效的特征


2)在数据表现方面,我们无法观测超过三维的数据


2. 常见特征降维的算法是主成分分析:PCA


PCA算法核心:把高维度的向量向低维度投影


1)去平均值,即每一位特征减去各自的平均值


2)计算矩阵协方差和特征向量与特征值


3)把特征值从小到大排序


4)保留前K个特征值对应的特征向量


5)将数据投影到这K个特征所构成的一个新的向量空间中


3. PCA建模与直接减少特征数建模对比----鸢尾花数据集为例


3.1 直接减少特征数目建模


from sklearn import datasets
• 1
iris = datasets.load_iris()
data = iris.data
target = iris.target
data[:4]
array([[5.1, 3.5, 1.4, 0.2],
       [4.9, 3. , 1.4, 0.2],
       [4.7, 3.2, 1.3, 0.2],
       [4.6, 3.1, 1.5, 0.2]])
from sklearn.neighbors import KNeighborsClassifier
# 直接取前连个特征,舍去后面的两个特征然后进行建模
# 这里没有分析哪些特征是主成分,必然会造成主成分丢失
train = data[:,:2]
train[:2]
array([[5.1, 3.5],
       [4.9, 3. ]])
• 1
• 2
# 使用KNN算法进行建模
knn = KNeighborsClassifier()

# 训练模型
knn.fit(train,target)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')
# 模型在训练数据上的准确度
knn.score(train,target)
• 1
• 2
0.8333333333333334



3.2 不减少特征数目进行建模


knn = KNeighborsClassifier()
• 1
knn.fit(data,target)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
           metric_params=None, n_jobs=1, n_neighbors=5, p=2,
           weights='uniform')
knn.score(data,target)
• 1
0.9666666666666667
• 1


3.3 交叉验证–直接比较是否减少特征数目建模的准确率


交叉验证法不需要训练,直接传入模型和训练数据就可以输出每一次划分的准确率


from sklearn.model_selection import cross_val_score
• 1
cross_val_score(knn,train,target)
• 1
array([0.74509804, 0.74509804, 0.77083333])
cross_val_score(knn,data,target)
• 1
array([0.98039216, 0.98039216, 1.        ])


通过以上是否减少特征数据建模后预测准确度我们发现,不减少特征情况下建模准确率达到97%以上,而如果直接取前两个特征进行建模,模型准确度只有70%多,准确率相差还是很大的,说明如果直接减少特征数目降维,会丢失很多有用的信息,从而导致准确率降低。


下面我们用主成分分析PCA的方法进行降维,然后看其模型准确度如何


3.3 用PCA算法进行数据降维–然后进行评估

# 引入PCA算法
from sklearn.decomposition import PCA
# 构建2个特征
pca = PCA(n_components=2)
# 训练阶段通过主成分分析,找出主成分的特征空间
pca.fit(data)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None,
  svd_solver='auto', tol=0.0, whiten=False)
# 转化阶段把数据由原来的空间投影到主成分空间
train_pca = pca.transform(data)
# 交叉验证计算每次建模的准确率
cross_val_score(knn,train_pca,target)
array([0.98039216, 0.94117647, 0.97916667])


我们可以看到,通过PCA方法进行建模后,模型准确率与不减少特征直接建模的准确率差不多,效果还是非常好的。


4. 监督学习算法的特征降维----线性判别分析算法(LDA)


通过主成分分析PCA降维以后可以大大的提高监督学习算法的性能。


主成分分析PCA降维属于无监督学习的一种降维方法,下面介绍一种监督学习算法的降维方法--LDA算法。由于监督学习算法需要考虑标签,因此它的效率低于PCA。


# 导入LDA算法--线性判别分析算法(linear discriminant analysis,LDA)
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
#创建lda模型
lda = LinearDiscriminantAnalysis(n_components=2)
# 训练算法并转化数据,借用上述例子中的鸢尾花数据
train_lda = lda.fit_transform(data,target)
cross_val_score(knn,train_lda,target)
array([1.        , 0.94117647, 1.        ])


可以发现,这种LDA的降维方法也是很好的,准确率相比于原始数据建模相差不多。

相关文章
|
4天前
|
机器学习/深度学习 数据可视化 计算机视觉
【视频】机器学习交叉验证CV原理及R语言主成分PCA回归分析犯罪率|数据共享
【视频】机器学习交叉验证CV原理及R语言主成分PCA回归分析犯罪率|数据共享
|
4天前
|
机器学习/深度学习 算法 数据可视化
机器学习第11天:降维
机器学习第11天:降维
|
4天前
|
机器学习/深度学习 算法 数据可视化
JAMA | 机器学习中的可解释性:SHAP分析图像复刻与解读
JAMA | 机器学习中的可解释性:SHAP分析图像复刻与解读
337 1
|
4天前
|
机器学习/深度学习 算法 数据可视化
Machine Learning机器学习之高维数据降维(主成分分析PCA、线性判别分析、自编码器超级无敌详细讲解)
Machine Learning机器学习之高维数据降维(主成分分析PCA、线性判别分析、自编码器超级无敌详细讲解)
|
4天前
|
机器学习/深度学习 人工智能 并行计算
人工智能平台PAI产品使用合集之机器学习PAI中特征重要性的原理不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
3天前
|
机器学习/深度学习 算法 数据挖掘
【机器学习】K-means算法与PCA算法之间有什么联系?
【5月更文挑战第15天】【机器学习】K-means算法与PCA算法之间有什么联系?
|
4天前
|
机器学习/深度学习 算法
【机器学习】如何使用朴素贝叶斯分类器来处理类别特征?
【5月更文挑战第10天】【机器学习】如何使用朴素贝叶斯分类器来处理类别特征?
|
4天前
|
机器学习/深度学习 存储 数据采集
【Python 机器学习专栏】PCA(主成分分析)在数据降维中的应用
【4月更文挑战第30天】本文探讨了主成分分析(PCA)在高维数据降维中的应用。PCA通过线性变换找到最大化方差的主成分,从而降低数据维度,简化存储和计算,同时去除噪声。文章介绍了PCA的基本原理、步骤,强调了PCA在数据降维、可视化和特征提取上的优势,并提供了Python实现示例。PCA广泛应用在图像压缩、机器学习和数据分析等领域,但降维后可能损失解释性,需注意选择合适主成分数量及数据预处理。
|
4天前
|
算法 数据可视化 数据挖掘
Barnes-Hut t-SNE:大规模数据的高效降维算法
Barnes-Hut t-SNE是一种针对大规模数据集的高效降维算法,它是t-SNE的变体,用于高维数据可视化。t-SNE通过保持概率分布相似性将数据从高维降至2D或3D。Barnes-Hut算法采用天体物理中的方法,将时间复杂度从O(N²)降低到O(NlogN),通过构建空间索引树和近似远距离交互来加速计算。在scikit-learn中可用,代码示例展示了如何使用该算法进行聚类可视化,成功分离出不同簇并获得高轮廓分数,证明其在大數據集上的有效性。
22 1
|
4天前
|
机器学习/深度学习 存储 数据采集
【python】Python大豆特征数据分析 [机器学习版二](代码+论文)【独一无二】
【python】Python大豆特征数据分析 [机器学习版二](代码+论文)【独一无二】

热门文章

最新文章