机器学习数学基础三:线代基础和特征分解

简介: 对于给定矩阵A,寻找=个常数入和非零向量x,使得向量x被矩阵A作用后所得的向量Ax.与原向量x平行,并且满足Ax=λx

一,线性代数基础


1,行列式


3eb210d7a807454182c73211a5a28ab9.png

fa368363f0eb49b4b0ea159cc5fd66d9.png


行列式是一个值。


39da890dc767499ea7d47c959846aa40.png


行数代表数据个数,列数代表标签


2,矩阵和数据的关系


fb5b9d2a82994498829931162ee55136.png

d13d04651ad545a1b2d25427c608d1f3.png


3,矩阵的基本操作


1)特殊矩阵


7c78dc52547c4695b8f4bde6f6294a5f.png

7f17573b68384fcbab59b4c0ef97cdcb.png


2)同型矩阵和矩阵相等的区别


两个矩阵行列数相同的时候称为同型矩阵


在同型的前提先,并且各个元素相等,就是矩阵相等了


3)加减法


e45e8496294e492db9a92937aa56d122.png


4)数乘运算


bc9b7661dd054d7ebbb2eea4b2452202.png

8cc0fb17857843d79edd5e941f55cf3f.png


5)乘法没有交换律


447395caf36e43ccb2bcc5830efda48d.png


4,矩阵的几种变换


1)矩阵转置


16800caf9f9c476fbda1692b417188c3.png


2)对称矩阵


492498738b884730bf0465c061b8f6b2.png


最重要的是下面的式子


3)逆矩阵


8cfdbe3d09394960a254d3e0308b05a1.png


5,矩阵的秩


09cbaffe13f9429494ca1596e2231d5a.png


8c4461193eeb4300a9fe33f1d85ea6da.png

2e5939b228b64c18be49b935d280ba50.png


6,向量的内积


530dc78ff81b45ff9cb31d1b51957369.png

5a21ab60951d48bd8299acb1e7fb2a8b.png


7,向量的正交


504fce521a684546bdd9caefe33beb0d.png


规范正交基


3b190e4d82ba4d928f3c8ea3294685fe.png


二,特征值和特征向量


1,特征值和特征向量


数学定义:


对于给定矩阵A,寻找=个常数入和非零向量x,使得向量x被矩阵A作用后所得的向量Ax.与原向量x平行,并且满足Ax=λx


2,特征空间与应用


1)特征空间


特征空间包含了所有的特征向量


2)特征向量的应用


072b533af1b6484082029f933ba0223e.png


3,SVD矩阵分解


将大矩阵分解为小矩阵,将稀疏矩阵变得更加密集,更能突出重点


1)基变换


什么是基?


基是正交的(内积为0)


更多的理解可能是一个基准,确定向量的位置


用不同的基乘上坐标,得到在不同的基上的坐标


2)矩阵乘以一个向量,结果仍是一个向量

目录
相关文章
|
4月前
|
机器学习/深度学习 算法 数据可视化
机器学习模型中特征贡献度分析:预测贡献与错误贡献
本文将探讨特征重要性与特征有效性之间的关系,并引入两个关键概念:预测贡献度和错误贡献度。
427 3
|
8月前
|
机器学习/深度学习 人工智能 并行计算
人工智能平台PAI产品使用合集之机器学习PAI中特征重要性的原理不知道如何解决
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 JSON
人工智能平台PAI产品使用合集之创建特征视图时遇到报错,该如何排查
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 存储 人工智能
人工智能平台PAI产品使用合集之选择使用Hologres作为在线特征存储,响应延时大概在多久
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 数据采集 存储
人工智能平台PAI产品使用合集之FeatureStore是否支持推荐场景下的session特征
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 人工智能 前端开发
人工智能平台PAI产品使用合集之创建了实时特征视图,里面的数据是通过什么传入的
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
6月前
|
存储 机器学习/深度学习 人工智能
人工智能平台PAI使用问题之特征平台是否可以与Java进行对接
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
7月前
|
机器学习/深度学习 算法 C++
机器学习归一化特征编码(二)
这篇文档讨论了机器学习中的特征编码,特别是独热编码(OneHotEncoder)在处理离散变量时的作用。它指出,对于多分类变量,独热编码是常用方法,但对二分类变量通常不需要。在Python的`sklearn`库中,`OneHotEncoder`可以用来实现这一过程,并可以通过设置`drop='if_binary'`来忽略二分类变量。文档还提到了逻辑回归,解释了正则化参数`C`和`penalty`,并列举了不同的优化算法,如`liblinear`、`lbfgs`等。
|
7月前
|
机器学习/深度学习 API Python
机器学习特征降维
这篇内容概述了特征降维在机器学习中的重要性,包括三个主要方法:低方差过滤法、PCA(主成分分析)和相关系数法。低方差过滤法通过删除方差低于阈值的特征来减少无关信息;PCA通过正交变换降低数据的维数,保留大部分信息;相关系数法(如皮尔逊和斯皮尔曼相关系数)用于评估特征间的相关性,去除高度相关的特征以简化模型。这些技术有助于提高模型效率和泛化能力。
|
7月前
|
机器学习/深度学习 算法 数据处理
机器学习归一化特征编码(一)
特征缩放是机器学习预处理的关键步骤,它包括归一化和标准化。归一化通过最大最小值缩放,将数据转换到[0,1]区间,有助于梯度下降算法更快收敛,减少数值较大特征的影响。标准化则通过减去均值并除以标准差,确保数据具有零均值和单位方差,适用于关注数据分布情况的算法。例如,欧氏距离计算时,未归一化的特征可能导致模型偏向数值较大的特征。归一化能提升模型精度,尤其是当距离度量如欧式距离时。常见的实现方法有`MinMaxScaler`,它将每个特征值缩放到用户指定的范围,如[0,1]。而`StandardScaler`执行Z-Score标准化,数据分布符合标准正态分布。