学习笔记： 线性代数-线性组合与线性相关

1、线性组合

对于若干个$n$维向量$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}$，则称$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{p} \cdot \vec v_{p}$（$k_{i}$是一个标量）这种形式为$\color {red} {\small 一个线性组合}$。

如矩阵高斯消元法中，一个行向量加（减）$k$倍的的另一个行向量这种操作就是一个线性组合，可以说矩阵中高斯约旦消元的结果的每一行 ，是原来矩阵各行的一个线性组合。

2、线性相关

对于若干个$n$维向量$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}$，若存在一组$k$不全为0，使得$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{p} \cdot \vec v_{p} = 0$，则称$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}\color {red} {\large\textbf{线性相关}}$。
换个意思说，线性相关的向量之间不是独立的，其中至少有一个向量可以用其余的向量来线性表示。

如对于 $- 2 \cdot \vec r_{1} - \frac {1}{3} \cdot \vec r_{2} + \vec r_{3} = 0$
则有 $\vec r_{3} = 2 \cdot \vec r_{1} + \frac {1}{3} \cdot \vec r_{2}$,意味着$\vec r_{3}$可以表示成$\vec r_{1}$和$\vec r_{2}$的线性组合，所以$\vec r_{1}, \vec r_{2}, \vec r_{3}$是线性相关的。

对于命题: 如果$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{n}$线性相关$\Leftrightarrow$其中一个向量可以表示成其它向量的线性组合。可证：

因为$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{n}$线性相关，则存在一组不全为0的$k_{1},k_{2},k_{3},\cdots ,k_{n}$使得$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{n} \cdot \vec v_{p} = 0$。
设$k_{i} \neq 0 \to k_{i} \cdot \vec v_{i} = -k_{1} \cdot \vec v_{1} - k_{2} \cdot \vec v_{2} - \cdots - k_{i-1} \cdot \vec v_{i-1} - k_{i+1} \cdot \vec v_{i+1} - \cdots - k_{n} \cdot \vec v_{n}$
可得 $\vec v_{i} =(-k_{1} \cdot \vec v_{1} - k_{2} \cdot \vec v_{2} - \cdots - k_{i-1} \cdot \vec v_{i-1} - k_{i+1} \cdot \vec v_{i+1} - \cdots - k_{n} \cdot \vec v_{n}) / k_{i}$，满足$\color {red} { \small线性组合}$的定义。即使等式右侧的$k$全部为0，说明$\vec v_{i}$是其它向量是相关，且是它们的0倍。

3、线性无关

对于若干个$n$维向量$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}$，只有$k$全为0时，才有$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{p} \cdot \vec v_{p} = 0$，则称$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}\color {red} {\large\textbf{线性无关}}$。
线性无关意味着任何一个向量都无法表示为其它向量的线性组合。

在求证线性相关，线性无关的时候，常用反证法

求证$n$维标准单位向量$\vec e_{1}=[1,0,0,...,0],\vec e_{2}=[0,1,0,...,0],\vec e_{3}=[0,0,1,...,0],\cdots ,\vec e_{n}=[0,0,0,...,1]$是一个线性无关组。
反证法证明：
假设$\vec e_{1},\vec e_{2},\vec e_{3},\cdots ,\vec e_{n}$线性相关，则一定存在一组不全为0的k；
使得$k_{1} \cdot \vec e_{1} \add \ k_{2} \cdot \vec e_{2} \add \ k_{3} \cdot \vec e_{3} + \cdots \add \ k_{p}\cdot \vec e_{n} =0$
假设$k_{i} \neq 0$,$k_{i} \cdot \vec e_{i} = -k_{1} \cdot \vec e_{1} - k_{2} \cdot \vec e_{2} - \cdots - k_{i-1} \cdot \vec e_{i-1} - k_{i+1} \cdot \vec e_{i+1} - \cdots - k_{n} \cdot \vec e_{n}$
就有$e_{i} =( -k_{1} \cdot \vec e_{1} - k_{2} \cdot \vec e_{2} - \cdots - k_{i-1} \cdot \vec e_{i-1} - k_{i+1} \cdot \vec e_{i+1} - \cdots - k_{n} \cdot \vec e_{n})/k_{i}$
$\vec e$向量是一个$n$维向量,上式展开可得
$\vec e_{i} =( -k_{1} /k_{i} ,- k_{2} /k_{i}, - \cdots - k_{i-1} /k_{i} -,0, k_{i+1} /k_{i} - \cdots - k_{n} /k_{i})$
$\because \vec e_{i}$向量在$i$位置的元素值应为1，与上式计算的$\vec e_{i}$在$i$位置的元素为0相矛盾；
$\therefore$假设不成立，得证$n$维标准单位向量间是一个线性无关组。

4、线性相关的重要性质

性质1 对于m个n维向量，$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{m}$，若$m>n$，则$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{m}$线性相关。
$\color {skyblue} {\small {如4个3维向量一定线性相关! }}$
证明该命题等价于求证，是否存在一组$k_{1},k_{2},k_{3},\cdots ,k_{m}$不全为0，满足$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{m} \cdot \vec v_{m} = 0$

$\therefore$对于m个n维向量，肯定会有一组$k$不全为0，满足这m个向量线性相关。

性质2 对于m个n维向量，$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{m}$，若$m=n$,且有向量$\vec v$构成的系数矩阵A可逆的时候，则$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{m}$线性无关。
$\because$求证向量组$\vec v$线性无关，等于说求证存在一组常数$k$全为0，使得$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{m} \cdot \vec v_{m} = 0$
等价于求证 由向量$\vec v$和常数$k$组成的齐次线性方程组$A \cdot k =0$有唯一解
$\because$矩阵$A$可逆，就有$A^{-1} \cdot A \cdot k = 0$,所以常数组$k$一定是0向量，$k$只有唯一零解。

$A = ( \vec v_{1}, \vec v_{2},\cdots , \vec v_{n})$
$A可逆 \Leftrightarrow \vec v_{1}, \vec v_{2},\cdots , \vec v_{n}线性无关$

性质3 若向量$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}$中存在零向量，则$\vec v_{1},\ \vec v_{2},\ \vec v_{3},\cdots,\ \vec v_{p}$线性相关。
从定义出发，线性相关意味着存在一组$k$不全为0，使得$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{p} \cdot \vec v_{p} = 0$。
因为在这个情况下，与零向量$O$相乘的$k_{i}$可以取任意值，哪怕其它$k$的值都为0，也总能存在一组$k$不全为0使得$k_{1} \cdot \vec v_{1} \add \ k_{2} \cdot \vec v_{2} \add \ k_{3} \cdot \vec v_{3} + \cdots \add \ k_{p} \cdot \vec v_{p} = 0$，符合线性相关定义，因为任意一个向量都可以由

5、从向量表达信息层面理解

一组向量线性相关，表示这组向量出现了信息冗余，因为一个向量可以被另一个向量的线性组合所表示，意味着这个向量本身其实并没有表达新的信息。反之，一组向量线性无关，意味着信息完全不冗余，对于这组向量来说所有向量都是独立的。