特征值，特征向量，相似性，对角化，对称矩阵，正交对角化等系列概念均基于方阵提出。
而现实中通常要处理的矩阵都属于长方阵形式。
对于一个$m \times n$的非方阵$A$来说，可以通过$A^TA$方式构造一个对称的$n\times n$的方阵；
对于$A^TA$来说
- 其第$i$行$j$列的元素$a_{ij}\ \ \ $ 是 $A^T$的第$i$行点乘$A$的第$j$列的结果$\leftrightarrow$ 也即$A$的$i$列$\cdot j$列
- 其第$j$行$i$列的元素$a_{ji}\ \ \ $ 是 $A^T$的第$j$行点乘$A$的第$i$列的结果$\leftrightarrow$ 也即$A$的$j$列$\cdot i$列
- $\therefore a_{ij} = $a_{ji}$
因此，若$A$是一个$m \times n$的矩阵，则$A^TA$将得到一个对称的$n \times n$方阵，
从而$A^TA$可以被正交对角化，拥有$n$个实数特征值，$n$个互相垂直的标准特征向量(模等于1)
$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \lambda_1,\lambda_2,\lambda_3,... \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \vec v_1,\vec v_2,\vec v_3,...$
取出方阵$A^TA$的某一特征值$\lambda _i$与其对应的一个标准特征向量$\vec v_i$,存在如下联系:
$\|A \cdot \vec v_i\|^{2} = (A \vec v_i)\cdot (A \vec v_i) = (A \vec v_i)^{T} (A \vec v_i) = \vec v_i^{T} A^T A \vec v_i$
$\because \vec v_i$是方阵$A^TA$的一个标准特征向量
$\therefore \vec v_i^{T} A^T A \vec v_i = \vec v_i^{T} \lambda _i \vec v_i = \lambda _i \vec v_i^T\vec v_i = \lambda _i \|\vec v_i\|^{2} = \lambda _i$$\therefore \|A \cdot \vec v_i\|^{2} = \lambda _i$，同时表明方阵$A^TA$的特征值$\lambda _i \ge 0$
推出奇异值(Singular Value) $\therefore \sigma _i = \sqrt { \|A \cdot \vec v_i\|^{2} } = \sqrt {\lambda _i}$，奇异值表示了$A\vec v_i$的长度。
根据矩阵的行空间与列空间一章,对于一个$m \times n$的矩阵$A$，其列空间将由矩阵内线性无关的列向量组生成($dim (Colspace) \le m$)。在这里，向量组$\{A\vec v_i\}$构成矩阵$A$列空间的一组正交基($\lambda _i \ne 0$)
① 正交性证明
取出$\{A\vec v_i\}$中的两个基向量 $A\vec v_i , A\vec v_j$
$(A\vec v_i)(A\vec v_j) = (A\vec v_i)^T(A\vec v_j) =\vec v_i^TA^TA\vec v_j = \vec v_i^T(\lambda _j\vec v_j) = \lambda _j \vec v_i^T\vec v_j = \lambda _j(\vec v_i\vec v_j)=0$② 证明$\{A\vec v_i\}$是$A$的一组正交基
方阵$A^TA$的$n$个标准特征向量组$\{\vec v_1,\vec v_2,...,\vec v_n\}$构成$n$维空间的一组基， 则该空间内任意向量$\vec x = k_1\vec v_1 + k_2\vec v_2 + ... + k_n\vec v_n $
对于$A$ 的列空间(维度$\le m$)中的向量$\vec y$(含有$m$个元素)，可以在一个$n$维空间中寻找一个$\vec x$，从而表示为$\vec y = A \cdot \vec x$的结果($m\times n \cdot n\times 1 = m $)。
$\therefore \vec y = A \cdot \vec x = A\cdot k_1\vec v_1 + A\cdot k_2\vec v_2 + ... + A\cdot k_n\vec v_n = k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$而$k_1A\vec v_1 + k_2A\vec v_2 + ... + k_nA\vec v_n$就是$\{A\vec v_i\}$向量组的线性组合，由于$\lambda _i = 0 \rightarrow \sqrt { \|A \cdot \vec v_i\|^{2} } \rightarrow A\vec v_i =O$，从而使$\{A\vec v_i\}$向量组内存在线性相关组，所以刨去了$\lambda _i = 0$这个因素之后，得到的$\{A\vec v_i\}$向量组内的所有向量将构成正交关系[①中已证明]，形成矩阵$A$的列空间的一组正交基。
在处理奇异值的时候，通常按从大到小的顺序排列$\sigma _i$，从而去掉等于$0$ 的奇异值。
如果$A$ 由$r$个不为零的奇异值，则$\{A\vec v_1,A\vec v_2,...,A\vec v_r\} $是$A$的列空间的一组正交基
$A $的列空间的维度为$r$；$rank(A) = r$
$A$的列空间的一组标准正交基将描述为 $\{ \frac {A\vec v_1}{\sigma _1}\, \frac {A\vec v_2}{\sigma _2}\,..., \frac {A\vec v_r}{\sigma _r}\} $ ;
进一步简化表述$\vec u_i = \frac {A\vec v_i}{\sigma _i}\ \ \ \{\vec u_1,\vec u_2,...,\vec u_r \}$在这里可以看到$\sigma = 0$ 等式将无意义。
使用向量组$\{\vec u_1,\vec u_2,...,\vec u_r \}$能更方便的表示一个矩阵。
