列空间, 零空间的图像和概念都建立之后, 那就该从定义转到如何计算了.
求解零空间 ($Ax=0$)
还是直接上例子: $3 \times 4$ 矩阵
求 $Ax=0$ 的解：
这其实就是寻找零空间的问题
消元法化简
使用消元法:
首先观察, 这个矩阵行列都有某些行列线性组合为其他行列的情况.
其次明确, 消元法不会改变零空间, 也就是不会改变 $Ax=0$ 的解.
秩
上式中, 主元(下划线元素) 的个数为2，这个数字即矩阵 $A$ 的秩（rank）, 即$r=2$。
秩怎么理解呢? 我决定查字典:
有条理，不混乱的情况：秩序。 古代官吏的俸禄：“官人益秩，庶人益禄”。 古代官职级别：委之常秩。贬秩三等。 十年：七秩寿辰。
英语 rank 呢? 我也查下字典:
排名；等级；军衔；队列
看到共同点了吗? 都有等级的意思.
为什么会有等级的意思呢? 再次观察式(1), 可以发现消元后的矩阵呈现阶梯状(echelon form), 这个阶梯有几个阶梯级数呢? 这个级数就是等级数目, 也就是秩(rank).
矩阵的行列数目并不一定就是线性系统的真实大小, 一个类似 $0=0$ 的系统并没有太大意义. 矩阵的真实大小要看秩.
秩为 1
秩为 1 的矩阵只有一个主元. 消元法过程中, 只要第一列出现了 0, 其他列对应位置也都会成为 0. 其他每行都是之列的倍数, 比如:
它的列空间是一维的, 所有列都在直线 $u=(1, 2, 3)$ 上, 可以讲矩阵写为 $A=\begin{bmatrix}1 \\ 2 \\ 3\end{bmatrix}\begin{bmatrix}1 & 3 & 10\end{bmatrix}=uv^T$
秩的定义
第一个定义就是上面听到的主元个数, 即阶梯数目.
第一个定义站在更高的角度看问题. 它处理整行整列, 矩阵有 $r$ 个独立列(主列).
第三个定义站在最高角度, 秩就是列空间(或者行空间)的维度. 秩同时也给出了零空间的维度 ($n-r$)
那么 $Ax=0$ 可以写为 $u(v^Tx)=0$, 推出 $v^T=0$, 那么零空间中所有 $x$ 向量都与 $v$ 垂直. 已经知道列空间是一条线, 那么零空间就是垂直这条线的平面了.
特殊解 (不是我们常说的特解)
特殊解是 $Ax=0$ (齐次方程) 的解
主元所在的列为主列(pivot column), 其余列为自由列(free column).
自由列的的值可以自由或者任意分配, 所以对于式(1)对应的方程组, $x_2$ 和 $x_4$ 可以任取, 然后只需求解 $x_1$ 和 $x_3$ 即可:
如令$x_2=1, x_4=0$, 得特殊解 $x=c_1\begin{bmatrix}-2\\1\\0\\0\end{bmatrix}$;
再令$x_2=0, x_4=1$, 得特殊解 $x=c_2\begin{bmatrix}2\\0\\-2\\1\end{bmatrix}$.
这两个向量是四维空间中两条直线.
算法总结
- 先消元, 确定主列和自由列
- 然后对自由变量分配数值, 一般地, 令其中一个为 1, 其他均为 0
上面例子可以看出, 特殊解所有的线性组合组成零空间, 也就是每一个解都是特殊解的线性组合. 每一个自由变量对应一个特殊解, 那么有多少自由变量呢? 对于 $m \times n$ 矩阵, 如果秩为 $r$, 自由变量就有 $n-r$ 个.
如果矩阵列数大于行数($n>m$), 那么自由变量至少有一个, $Ax=0$ 至少有一个非零特殊解.
简化阶梯矩阵
为了让矩阵看起来更干净, 继续简化. 变为简化行阶梯形式(reduced row echelon form, rref)，主元上下的元素都是 $0$, 主元化为 $1$：
rref 以最简单的形式包含了所有信息.
主行其实包含了一个单位矩阵, 将 $R$ 矩阵中的主变量放在一起，自由变量放在一起（列交换），得到
其中 $I$ 为单位矩阵，$F$ 为自由变量组成的矩阵
这是典型的简化行阶梯形式.
构造一个零空间矩阵 $N$ (nullspace matrix), 它的各列由各个特殊解组成, 有 $RN=0$。
则有:
令自由变量为 $I$, 即 $x_{free}=I$, 则根据式(4), $x_{pivot}=-F$, 那么:
