Python3入门机器学习 - PCA(主成分分析)

简介: 主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标(即主成分),其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复。

主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标(即主成分),其中每个主成分都能够反映原始变量的大部分信息,且所含信息互不重复。这种方法在引进多方面变量的同时将复杂因素归结为几个主成分,使问题简单化,同时得到的结果更加科学有效的数据信息。

img_80b04df9b267cca9e5d075e2c78c2337.png


使用梯度上升法求解主成分


//准备数据
import numpy as np
import matplotlib.pyplot as plt

X = np.empty((100,2))
X[:,0] = np.random.uniform(0.,100.,size=100)
X[:,1] = 0.75*X[:,0]+3.+np.random.normal(0,10.,size=100)

plt.scatter(X[:,0],X[:,1])
plt.show
AI 代码解读
img_ca898bb4c0a4b0193bfef2cd45b66e66.png
// 数据demean过程
def demean(X):
    return X - np.mean(X,axis=0)
AI 代码解读
#效用函数
def f(w,X):
    return np.sum((X.dot(w)**2))/len(X)

#效用函数导函数
def df_math(w,X):
    return X.T.dot(X.dot(w))*2./len(X)

#测试导函数是否正确
def df_debug(w,x,epsilon=0.0001):
    res = np.empty(len(w))
    for i in range(len(w)):
        w_1 = w.copy()
        w_1[i] += epsilon
        w_2 = w.copy()
        w_2[i] -= epsilon
        res[i] = (f(w_1,X)-f(w_2,X))/(2*epsilon)
    return res

#使w变为单位向量
def direction(w):
    return w/np.linalg.norm(w)

#梯度上升
def gradient_ascent(df,X,initial_w,eta,n_iters=1e4,epsilon=1e-8):
    
    cur_iter = 0
    w = direction(initial_w)
    
    while cur_iter<n_iters:
        gradient = df(w,X)
        last_w = w
        w = w + eta*gradient
        w = direction(w)   #每次计算后都应该将w转变为单位向量
        if(abs(f(w,X) - f(last_w,X))<epsilon):
            break
        
        cur_iter +=1
        
    return w
AI 代码解读
initial_w = np.random.random(X.shape[1])   #不能使用0向量作为初始向量,因为0向量本身是一个极值点

eta = 0.01

gradient_ascent(df_debug,X,initial_w,eta)

gradient_ascent(df_math,X,initial_w,eta)
AI 代码解读
求解数据的前n个主成分
def first_n_components(n,X,eta=0.01,n_iters=1e4,epsilon=1e-8):
    
    X_pca = X.copy()
    X_pca = demean(X_pca)
    res = []
    
    for i in range(n):
        initial_w = np.random.random(X_pca.shape[1])
        w = first_component(df_math,X_pca,initial_w,eta)
        res.append(w)
         /*
         for i in range(len(X)):
          X2[i] = X[i] -X[i].dot(w)*w
        */
        X_pca = X_pca - X_pca.dot(w).reshape(-1,1)*w
        
    return res
AI 代码解读


封装PCA


# _*_ encoding:utf-8 _*_
import numpy as np

class PCA:
    def __init__(self,n_components):
        self.n_components = n_components
        self.components_ = None

    def fit(self,X,eta=0.01,n_iters=1e4):

        def demean(X):
            return X - np.mean(X, axis=0)

        # 效用函数
        def f(w, X):
            return np.sum((X.dot(w) ** 2)) / len(X)

        # 效用函数导函数
        def df(w, X):
            return X.T.dot(X.dot(w)) * 2. / len(X)

        def direction(w):
            return w / np.linalg.norm(w)

        def first_component(df, X, initial_w, eta, n_iters=1e4, epsilon=1e-8):
            cur_iter = 0
            w = direction(initial_w)
            while cur_iter < n_iters:
                gradient = df(w, X)
                last_w = w
                w = w + eta * gradient
                w = direction(w)  # 每次计算后都应该将w转变为单位向量
                if (abs(f(w, X) - f(last_w, X)) < epsilon):
                    break
                cur_iter += 1
            return w

        def first_n_components(n, X, eta=0.01, n_iters=1e4, epsilon=1e-8):
            X_pca = X.copy()
            X_pca = demean(X_pca)
            res = []

            for i in range(n):
                initial_w = np.random.random(X_pca.shape[1])
                w = first_component(df, X_pca, initial_w, eta)
                res.append(w)
                X_pca = X_pca - X_pca.dot(w).reshape(-1, 1) * w
            return res

        X_pca = demean(X)
        self.components_ = np.empty(shape=(self.n_components,X.shape[1]))
        self.components_ = first_n_components(self.n_components,X)
        self.components_ = np.array(self.components_)
        return self

    def transform(self,X):
        return X.dot(self.components_.T)

    def inverse_transform(self,X):
        return X.dot(self.components_)


    def __repr__(self):
        return "PCA(n_components=%d)" %self.n_components
AI 代码解读


scikit-learn中的PCA


scikit-learn中的PCA没有使用梯度上升法求解主成分,因此使用sklearn中的PCA求解的主成分是与我们求解的向量方向是相反的

from sklearn.decomposition import PCA

pca = PCA(n_components=1)

pca.fit(X)

X_transform = pca.transform(X)

X_restore = pca.inverse_transform(X_transform)

plt.scatter(X[:,0],X[:,1],color='b',alpha=0.5)
plt.scatter(X_restore[:,0],X_restore[:,1],color='r',alpha=0.5)
AI 代码解读

img_0d23df5e0ee4a6d9ea9dfefa504b2364.png


使用PCA处理digits数据集

img_4d1082bbd3dea6e38e179a5f32babd96.png

从图中可以看到,使用PCA将digits数据集的数据维度降低到二维后,knn算法的fit时间降低很多,而score准确率却下降到0.6

pca = PCA(n_components=X_train.shape[1])

pca.fit(X_train)

pca.explained_variance_ratio_   #合并某一维度之后的对数据方差的损失后的正确率

plt.plot([i for i in range(X.shape[1])],[np.sum(pca.explained_variance_ratio_[:i+1]) for i in range(X_train.shape[1])])
AI 代码解读
img_a56b29f98c459e46f273fa2e6a4858bd.png

img_097b1863ce7d6fe789273a50d055d01d.png
pca = PCA(0.95)

pca.fit(X_train)

pca.n_components_             -> pca.n_components = 28
#即降低到28个维度后有原数据95%的正确率
AI 代码解读
目录
打赏
0
0
0
0
8
分享
相关文章
|
12天前
|
Python字符串格式化利器:f-strings入门指南
Python字符串格式化利器:f-strings入门指南
118 80
机器学习特征筛选:向后淘汰法原理与Python实现
向后淘汰法(Backward Elimination)是机器学习中一种重要的特征选择技术,通过系统性地移除对模型贡献较小的特征,以提高模型性能和可解释性。该方法从完整特征集出发,逐步剔除不重要的特征,最终保留最具影响力的变量子集。其优势包括提升模型简洁性和性能,减少过拟合,降低计算复杂度。然而,该方法在高维特征空间中计算成本较高,且可能陷入局部最优解。适用于线性回归、逻辑回归等统计学习模型。
169 7
Scikit-learn:Python机器学习的瑞士军刀
想要快速入门机器学习但被复杂算法吓退?本文详解Scikit-learn如何让您无需深厚数学背景也能构建强大AI模型。从数据预处理到模型评估,从垃圾邮件过滤到信用风险评估,通过实用案例和直观图表,带您掌握这把Python机器学习的'瑞士军刀'。无论您是AI新手还是经验丰富的数据科学家,都能从中获取将理论转化为实际应用的关键技巧。了解Scikit-learn与大语言模型的最新集成方式,抢先掌握机器学习的未来发展方向!
477 12
Scikit-learn:Python机器学习的瑞士军刀
Python与MongoDB的亲密接触:从入门到实战的代码指南
本文详细介绍了Python与MongoDB结合使用的实战技巧,涵盖环境搭建、连接管理、CRUD操作、高级查询、索引优化、事务处理及性能调优等内容。通过15个代码片段,从基础到进阶逐步解析,帮助开发者掌握这对黄金组合的核心技能。内容包括文档结构设计、批量操作优化、聚合管道应用等实用场景,适合希望高效处理非结构化数据的开发者学习参考。
47 0
揭秘Python的__init__.py:从入门到精通的包管理艺术
__init__.py是Python包管理中的核心文件,既是包的身份标识,也是模块化设计的关键。本文从其历史演进、核心功能(如初始化、模块曝光控制和延迟加载)、高级应用场景(如兼容性适配、类型提示和插件架构)到最佳实践与常见陷阱,全面解析了__init__.py的作用与使用技巧。通过合理设计,开发者可构建优雅高效的包结构,助力Python代码质量提升。
148 10
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
106 6
Python创意爱心代码大全:从入门到高级的7种实现方式
本文分享了7种用Python实现爱心效果的方法,从简单的字符画到复杂的3D动画,涵盖多种技术和库。内容包括:基础字符爱心(一行代码实现)、Turtle动态绘图、Matplotlib数学函数绘图、3D旋转爱心、Pygame跳动动画、ASCII艺术终端显示以及Tkinter交互式GUI应用。每种方法各具特色,适合不同技术水平的读者学习和实践,是表达创意与心意的绝佳工具。
1221 0
Python 高级编程与实战:深入理解数据科学与机器学习
本文深入探讨了Python在数据科学与机器学习中的应用,介绍了pandas、numpy、matplotlib等数据科学工具,以及scikit-learn、tensorflow、keras等机器学习库。通过实战项目,如数据可视化和鸢尾花数据集分类,帮助读者掌握这些技术。最后提供了进一步学习资源,助力提升Python编程技能。
Python 编程基础与实战:从入门到精通
本文介绍Python编程语言,涵盖基础语法、进阶特性及实战项目。从变量、数据类型、运算符、控制结构到函数、列表、字典等基础知识,再到列表推导式、生成器、装饰器和面向对象编程等高级特性,逐步深入。同时,通过简单计算器和Web爬虫两个实战项目,帮助读者掌握Python的应用技巧。最后,提供进一步学习资源,助你在Python编程领域不断进步。
Python 高级编程与实战:深入理解数据科学与机器学习
在前几篇文章中,我们探讨了 Python 的基础语法、面向对象编程、函数式编程、元编程、性能优化和调试技巧。本文将深入探讨 Python 在数据科学和机器学习中的应用,并通过实战项目帮助你掌握这些技术。

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问