Python机器学习(四):PCA 主成分分析

简介: 主成分分析法是一个非监督的机器学习算法,主要用于数据的降维。通过降维,可以发现更便于人类理解的特征。使数据映射到另一个轴上求解目标主成分分析的步骤:对样本进行demean处理(使所有样本的均值为0)取一个轴的方向 w = (w1,w2.

主成分分析法是一个非监督的机器学习算法,主要用于数据的降维。通过降维,可以发现更便于人类理解的特征。


img_8da3b940de81570869f24622bec7d797.png
使数据映射到另一个轴上

求解目标

主成分分析的步骤:

  1. 对样本进行demean处理(使所有样本的均值为0)
  2. 取一个轴的方向 w = (w1,w2...,wn),使我们的样本,映射到w之后,使下式最大


    img_d835db8a82540b1c0fdc41a744ea247a.png
    均方差

由于均值为0,则只需要使下式最大

img_4a93fd87c93274b9ff1cde32902f32fc.png
等价

映射的过程可以如下示意

img_30b8f1115a5338dccc4c8a1316ecb512.png
映射过程

w为单位向量,则有

img_4755de1c89768926024bff53e60d4f21.png
向量点乘

则最终目标为求取一个w,使得下式最大

img_d33f9c46eeb8348e789bb220fda06462.png
目标函数

上式中为向量相乘,假设数据有n个维度,展开来是这个样子


img_f89eaa7b326cf72dc93be7d739a57af1.png
展开以便理解

那么,这就变成了一个目标函数的最优化问题,可以使用梯度上升法解决

这个过程看起来跟线性回归很像,其实是不同的,需要注意


img_fb96f5f83c00b758b8762a49c957f3ea.png
想想其中的区别

梯度上升

梯度上升的过程与梯度下降是类似地,需要先求导

img_daf25cf1cda7583d1c7b66af868b667c.png
沿着各个轴求导

像前面一样,可以化为矩阵运算的形式。设X为这样的矩阵

img_1da64329bbe222cb6e427e6b4804ca7e.png
构造矩阵X

则求导可以写成这样的形式。这里就不推导了

img_d92dfd7e735a90c94ef8da1d17f389e9.png
矩阵运算

整理一下就是这个样子

img_997c2f51d0658c5dc6c4db151362b484.png
最终结果

求取n个主成分

上面的操作中求取w的是第一个主成分,称为第一主成分。如果要求取第二主成分,则需要将数据在第一个主成分上的分量去掉,得到的数据再求取主成分,就得到了第二主成分。

img_c577459b19fbfdee465ec1fa96bb0b0b.png
绿色的向量就是第二主成分的数据

比如说有这么一个数据集

img_cffb338cdda0875d051cc23ce1bd5248.png
使用numpy生成一个数据集

找到第一主成分的方向w1。将数据在第一主成分上的分量去掉,得到的数据如下。再求取一次主成分,就得到了第二主成分的方向。


img_626f9ccd0bd1c2fc48f48a7054ccf7a9.png
第二个主成分的数据

假设我们找到了k个主成分的方向,如果想将数据从n维映射到k维(n>k),则可以如下进行。令Wk为计算出的k个主成分的方向。


img_8023b45b97dbf04235365d80426118ee.png
图没弄好

则可以进行矩阵运算进行降维。X有m个样本n个方向,映射后有m个样本k个方向


img_ff4a96f1c8c88d18f5bfbee09781ed2d.png
想象一下

同样,可以将映射到低维的数据重映射到高维,但是会损失一些信息,结果跟原来是不一样的

img_064a55976ab2d24c12bb0bd01db00f20.png
重映射

编程实现

"""
Created by 杨帮杰 on 11/4/2018
Right to use this code in any way you want without
warranty, support or any guarantee of it working
E-mail: yangbangjie1998@qq.com
Association: SCAU 华南农业大学
"""
import numpy as np

class PCA:

    def __init__(self, n_components):
        """初始化PCA"""
        assert n_components >= 1, "n_components must be valid"
        self.n_components = n_components
        self.components_ = None

    def fit(self, X, eta=0.01, n_iters=1e4):
        """获得数据集的前n个主成分"""
        assert self.n_components <= X.shape[1], \
            "n_components must not be greater than the feature number of X"

        def demean(X):
            return X - np.mean(X, axis=0)

        def f(w, X):
            return np.sum((X.dot(w) ** 2)) / len(X)

        def direction(w):
            return w / np.linalg.norm(w)

        def first_components(X, initial_w, eta=0.01, n_iters=1e4, epsilon=1e-8):
            w = direction(initial_w)
            cur_iter = 0

            while cur_iter < n_iters:
                gradient = df(w, X)
                last_w = w
                w = w + eta*gradient
                w = direction(w)
                if(abs(f(w, X) - f(last_w, X)) < epsilon):
                    break
                cur_iter += 1

            return w

        X_pca = demean(X)
        self.components_ = np.empty(shape=(self.n_components, X.shape[1]))
        for i in range(self.n_components):
            initial_w = np.random.random(X_pca.shape[1])
            w = first_components(X_pca, initial_w, eta, n_iters)
            self.components_[i,:] = w
            X_pca = X_pca - X_pca.dot(w).reshape(-1,1) * w

        return self

    def transform(self, X):
        """将给定的X,映射到各个主成分分量中"""
        assert X.shape[1] == self.components_.shape[1]

        return X.dot(self.components_.T)

    def inverse_transform(self, X):
        """将给定的X,反向映射回原来的特征空间"""
        assert X.shape[1] == self.components_.shape[0]

        return X.dot(self.components_)

    def __repr__(self):
        return "PCA(n_components = %d" % self.n_components

目录
相关文章
|
5天前
|
机器学习/深度学习 人工智能 算法
机器学习基础:使用Python和Scikit-learn入门
【10月更文挑战第12天】本文介绍了如何使用Python和Scikit-learn进行机器学习的基础知识和入门实践。首先概述了机器学习的基本概念,包括监督学习、无监督学习和强化学习。接着详细讲解了Python和Scikit-learn的安装、数据处理、模型训练和评估等步骤,并提供了代码示例。通过本文,读者可以掌握机器学习的基本流程,并为深入学习打下坚实基础。
11 1
|
6天前
|
机器学习/深度学习 API 计算机视觉
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(下)
14 2
|
7天前
|
机器学习/深度学习 算法 Python
深度解析机器学习中过拟合与欠拟合现象:理解模型偏差背后的原因及其解决方案,附带Python示例代码助你轻松掌握平衡技巧
【10月更文挑战第10天】机器学习模型旨在从数据中学习规律并预测新数据。训练过程中常遇过拟合和欠拟合问题。过拟合指模型在训练集上表现优异但泛化能力差,欠拟合则指模型未能充分学习数据规律,两者均影响模型效果。解决方法包括正则化、增加训练数据和特征选择等。示例代码展示了如何使用Python和Scikit-learn进行线性回归建模,并观察不同情况下的表现。
69 3
|
6天前
|
机器学习/深度学习 存储 算法
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
基于Python_opencv人脸录入、识别系统(应用dlib机器学习库)(上)
16 1
|
7天前
|
机器学习/深度学习 人工智能 算法
机器学习基础:使用Python和Scikit-learn入门
本文介绍了如何使用Python和Scikit-learn进行机器学习的基础知识和实践。首先概述了机器学习的基本概念,包括监督学习、无监督学习和强化学习。接着详细讲解了Python和Scikit-learn的安装、数据处理、模型选择与训练、模型评估及交叉验证等关键步骤。通过本文,初学者可以快速上手并掌握机器学习的基本技能。
32 2
|
7天前
|
机器学习/深度学习 数据挖掘 Serverless
手把手教你全面评估机器学习模型性能:从选择正确评价指标到使用Python与Scikit-learn进行实战演练的详细指南
【10月更文挑战第10天】评估机器学习模型性能是开发流程的关键,涉及准确性、可解释性、运行速度等多方面考量。不同任务(如分类、回归)采用不同评价指标,如准确率、F1分数、MSE等。示例代码展示了使用Scikit-learn库评估逻辑回归模型的过程,包括数据准备、模型训练、性能评估及交叉验证。
20 1
|
11天前
|
机器学习/深度学习 人工智能 数据挖掘
机器学习基础:使用Python和Scikit-learn入门
【10月更文挑战第6天】在人工智能领域,机器学习已成为核心技术。本文指导初学者使用Python与Scikit-learn入门机器学习,涵盖基本概念、环境搭建、数据处理、模型训练及评估等环节。Python因简洁性及其生态系统成为首选语言,而Scikit-learn则提供了丰富工具,简化数据挖掘与分析流程。通过实践示例,帮助读者快速掌握基础知识,为进一步深入研究奠定坚实基础。
19 4
|
8天前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
22 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
19天前
|
机器学习/深度学习 并行计算 大数据
【Python篇】深入挖掘 Pandas:机器学习数据处理的高级技巧
【Python篇】深入挖掘 Pandas:机器学习数据处理的高级技巧
45 3
|
19天前
|
机器学习/深度学习 数据采集 分布式计算
【Python篇】深入机器学习核心:XGBoost 从入门到实战
【Python篇】深入机器学习核心:XGBoost 从入门到实战
49 3