1. 特征降维的主要目的
1）在实际的项目中经常会遭遇到特征维度非常高的样本（比如图片），往往无法借助于自己领域的知识来构建有效的特征
2）在数据表现方面，我们无法观测超过三维的数据
2. 常见特征降维的算法是主成分分析：PCA
PCA算法核心：把高维度的向量向低维度投影
1）去平均值，即每一位特征减去各自的平均值
2）计算矩阵协方差和特征向量与特征值
3）把特征值从小到大排序
4）保留前K个特征值对应的特征向量
5）将数据投影到这K个特征所构成的一个新的向量空间中
3. PCA建模与直接减少特征数建模对比----鸢尾花数据集为例
3.1 直接减少特征数目建模
from sklearn import datasets • 1
iris = datasets.load_iris()
data = iris.data target = iris.target data[:4]
array([[5.1, 3.5, 1.4, 0.2], [4.9, 3. , 1.4, 0.2], [4.7, 3.2, 1.3, 0.2], [4.6, 3.1, 1.5, 0.2]])
from sklearn.neighbors import KNeighborsClassifier
# 直接取前连个特征，舍去后面的两个特征然后进行建模 # 这里没有分析哪些特征是主成分，必然会造成主成分丢失 train = data[:,:2] train[:2]
array([[5.1, 3.5], [4.9, 3. ]]) • 1 • 2
# 使用KNN算法进行建模 knn = KNeighborsClassifier()
# 训练模型 knn.fit(train,target)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski', metric_params=None, n_jobs=1, n_neighbors=5, p=2, weights='uniform')
# 模型在训练数据上的准确度 knn.score(train,target) • 1 • 2
0.8333333333333334
3.2 不减少特征数目进行建模
knn = KNeighborsClassifier() • 1
knn.fit(data,target)
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski', metric_params=None, n_jobs=1, n_neighbors=5, p=2, weights='uniform')
knn.score(data,target) • 1
0.9666666666666667 • 1
3.3 交叉验证–直接比较是否减少特征数目建模的准确率
交叉验证法不需要训练，直接传入模型和训练数据就可以输出每一次划分的准确率
from sklearn.model_selection import cross_val_score • 1
cross_val_score(knn,train,target) • 1
array([0.74509804, 0.74509804, 0.77083333])
cross_val_score(knn,data,target) • 1
array([0.98039216, 0.98039216, 1. ])
通过以上是否减少特征数据建模后预测准确度我们发现，不减少特征情况下建模准确率达到97%以上，而如果直接取前两个特征进行建模，模型准确度只有70%多，准确率相差还是很大的，说明如果直接减少特征数目降维，会丢失很多有用的信息，从而导致准确率降低。
下面我们用主成分分析PCA的方法进行降维，然后看其模型准确度如何
3.3 用PCA算法进行数据降维–然后进行评估
# 引入PCA算法 from sklearn.decomposition import PCA # 构建2个特征 pca = PCA(n_components=2)
# 训练阶段通过主成分分析，找出主成分的特征空间 pca.fit(data)
PCA(copy=True, iterated_power='auto', n_components=2, random_state=None, svd_solver='auto', tol=0.0, whiten=False)
# 转化阶段把数据由原来的空间投影到主成分空间 train_pca = pca.transform(data)
# 交叉验证计算每次建模的准确率 cross_val_score(knn,train_pca,target)
array([0.98039216, 0.94117647, 0.97916667])
我们可以看到，通过PCA方法进行建模后，模型准确率与不减少特征直接建模的准确率差不多，效果还是非常好的。
4. 监督学习算法的特征降维----线性判别分析算法（LDA）
通过主成分分析PCA降维以后可以大大的提高监督学习算法的性能。
主成分分析PCA降维属于无监督学习的一种降维方法，下面介绍一种监督学习算法的降维方法--LDA算法。由于监督学习算法需要考虑标签，因此它的效率低于PCA。
# 导入LDA算法--线性判别分析算法(linear discriminant analysis，LDA) from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
#创建lda模型 lda = LinearDiscriminantAnalysis(n_components=2)
# 训练算法并转化数据，借用上述例子中的鸢尾花数据 train_lda = lda.fit_transform(data,target)
cross_val_score(knn,train_lda,target)
array([1. , 0.94117647, 1. ])
可以发现，这种LDA的降维方法也是很好的，准确率相比于原始数据建模相差不多。
