学习笔记: 线性代数-研究矩阵四大子空间的意义

简介: 线性代数个人学习笔记

研究四大子空间的意义

总结:这一章节学习了矩阵的四大子空间。研究子空间的一个最主要的原因就是子空间的维度相比原空间更低,维度越低意味着空间越简单,如果能够保留关键信息直接降维到二维,或三维,我们就能进行更直观的可视化分析。在数据分析中,高维的数据存在计算性能低,分析的结果也可能不够好(维度灾难)这样的问题。所以如果能在降维,找到更低维度的空间,在这个空间来表示这些数据,且误差并不多的话,那么在这个子空间里研究高维数据效果会更好一些。$\color {red} {\small本章节学习的矩阵的四大子空间是一些更为复杂的降维子空间的一些基础}$。

矩阵子空间的一些应用示例

$\ \ \ \ \ $在真实世界中,很多问题的本质就是求解线性系统$Ax=b$,求出其中的$x$。不过由于面对真实问题时,我们采样的时候会不断的采很多样本,因为我们倾向于认为样本越多越能反映总体的真实情况,所以这样建立的矩阵$A$就会非常庞大,这就是所谓的大数据。通常采样结果结果组成的矩阵$A$中,行记录是采样的样本,列记录的是每个样本的特征,而我们想要探究的就是样本的$\color {red} {\small 一些特征}$和我们想要探究的$\color {red} {\small 结果}$之间的关系,这个$\color {red} {\small 特征}$指的就是$\color {red} {\small 样本特征}$,这个关系就是求解得到的$x$。

$\ \ \ \ \ $在真实问题中,采集大量样本导致矩阵$A$的行数大于列数,意味着方差的个数远远大于未知数个数,在这种情况下,由于数据偏差,方程之间就容易出现矛盾,因此真实情况建立的线性系统$Ax=b$通常是无解的。 线性系统无解可能对应两种情况,要么是因为数据采集误差导致无法求解,要么就是我们探究的模型$b$本身不准确,或者说特征与探究的结果之间本应该是非线性关系,结果我们套用了线性模型所以无法求解,但其实并不是问题本身无解。

当我们并不需要一个十分精确的解,只需一个接近解也足够用于研究的情况下。对于$Ax=b$,单单对于$Ax$来说,其实$Ax$表示的就是矩阵$A$的列空间,从向量乘法看$Ax$表示成$x$中的未知数与矩阵$A$的列向量相乘再相加的形式$x_1 \cdot \vec v_1+x_2 \cdot \vec v_2+x_3 \cdot \vec v_3 \cdots$,而这个表示形式的就是矩阵A的列向量的生成空间。既然$Ax$是矩阵$A$的列空间,继而线性系统$Ax=b$的求解问题可以理解成在$Ax$这个列空间中找到向量$b$,如果向量$b$在矩阵$A$的列空间中的话,那么就肯定会有一个或多个$x$与它相对应。所以在获取一个实际线性问题的近似解的时候,通常是在矩阵$A$的列空间中找到一个离$b$最近的$b'$,而这个离$b$最近的$b'$其实就是$b$在$A$的列空间中的投影,转而求解线性系统$Ax=b'$的解来近似$Ax=b$。

目录
相关文章
|
3月前
|
知识图谱
KDD 2024:Emory提出最新PolygonGNN框架:可捕捉通用多边形内外的空间关系
【9月更文挑战第16天】近年来,多边形表示学习在形状编码、建筑模式分类和地理问答等应用中至关重要。然而,现有研究多聚焦于单个多边形,忽视了多边形间复杂关系。为解决此问题,Emory大学团队提出了PolygonGNN框架,通过异质可见性图整合内外关系,并引入异质生成树采样提升计算效率。该框架设计了旋转平移不变的几何表示,适用于多种场景。实验结果显示,PolygonGNN在多个任务上表现优异,但在处理大规模场景时仍面临计算复杂度挑战,并未充分考虑拓扑结构和语义信息的影响。
43 2
|
7月前
|
数据可视化 数据建模
R语言用线性混合效应(多水平/层次/嵌套)模型分析声调高低与礼貌态度的关系
R语言用线性混合效应(多水平/层次/嵌套)模型分析声调高低与礼貌态度的关系
|
数据可视化
创建和分析二维桁架和梁结构研究(Matlab代码实现)
创建和分析二维桁架和梁结构研究(Matlab代码实现)
|
机器学习/深度学习 移动开发
学习笔记: 线性代数-子空间和维度
线性代数个人学习笔记
288 0
|
人工智能 JavaScript 算法
基础算法-子矩阵的和
与前缀和的基本思想类似,上一篇博文对前缀和有所介绍,不是很理解的友友可以阅读一下。一般的前缀和可以看作一维运算,而子矩阵的和则可以看作是二维运算,但本质也是一样的。 原数组可以看作 a[i][j],s[i][j] 是所求区域的数组值和,以下图为例
|
机器学习/深度学习 算法 量子技术
希尔伯特空间:概念、原理与发展趋势
希尔伯特空间:概念、原理与发展趋势
533 0
|
机器学习/深度学习 算法
深度之眼(七)——矩阵的初等变换(附:数模一些模型的解释)
深度之眼(七)——矩阵的初等变换(附:数模一些模型的解释)
152 0
深度之眼(七)——矩阵的初等变换(附:数模一些模型的解释)
|
机器学习/深度学习 算法
深度之眼(十二)——svd分解的应用
深度之眼(十二)——svd分解的应用
深度之眼(十二)——svd分解的应用