线性代数的第一部分已经结束了, 现在开始进入新的部分. 我们已经有了基本的空间图像, 这部分研究正交的问题.
这部分最重要的就是这幅图了:
正交向量
首先什么是正交向量呢? 就是两个向量满足: $v^T w=0$. 正交的向量就是相互垂直的向量.
正交空间
两个向量子空间 $V$ 内任意向量 $v$ 和 $W$ 内任意向量 $w$ 正交, 那么这两个子空间正交.
考虑一面墙, 它和地板正交吗? 显然不是, 因为不满足两个平面内任意向量正交的条件.
$0$ 向量与任意向量的点积为零, 所以 $0$ 向量与任意向量正交
零空间与行空间
对于 $Ax=0$, 零空间中的 $x$ 同 $A$ 中的所有行正交. 零空间 $N(A)$ 与 行空间 $C(A^T)$ 是 $R^n$ 内的正交子空间.
这个原因很简单:
对于行向量，有
那么:
那么 $x$ 是否与 $A$ 中各行的线性组合正交, 也就是和 $A$ 的行空间正交呢?
各式相加得$(c_1row_1+c_2row_2+\cdots+c_nrow_m)^Tx=0$，得证.
我们可以说，行空间与零空间将 $R^n$ 分割为两个正交的子空间.
同样的，列空间与左零空间正交, 将 $R^m$ 分割为两个正交的子空间。
正交补
行空间与零空间称为 $n$ 维空间里的正交补（orthogonal complement），即零空间包含了所有与行空间正交的向量
同理, 列空间与左零空间为 $m$ 维空间里的正交补, 即左零空间包含了所有与零空间正交的向量.
子空间 $V$ 的正交补包含垂直于 $V$ 的所有向量.
那么如果 $v$ 正交于零空间, 那么它一定在行空间中
到这个时候, 那么下面这个图大致可以看懂了:
还有一些从左边行空间和零空间到右边列空间和左零空间的映射要解决.
现在, $x$ 可以分为行空间部分 $x_r$ 和零空间部分 $x_n$, $x=x_n + x_r$ (因为行空间和零空间彼此为正交补).
对于 $Ax = A(x_n + x_r)$:
- $Ax_n = 0$, $x$ 的零空间部分进入0.
- $Ax_r = Ax = b$, $x$ 的行空间部分进入列空间.
列空间中的每一个向量 $b$ 都来自行空间中的唯一一个向量.
不可解方程组的解
方程组不可解, 那还怎么解呢? 其实实际工程中都是这种情况. 比如我们要得到卫星的位置, 待定参数有 5 个, 同时有 100 个人观测, 那么如何用 100 个方程求得这五个参数呢?
这就是长方矩阵的例子, 即 $m>n$. 对于这种矩阵，$Ax=b$ 中经常混入一些包含“坏数据”的方程, 虽然可以通过筛选的方法去掉一些我们不希望看到的方程, 但是这并不是一个稳妥的方法. 我们需要用一些手段得出一个最优解, 类似拟合, 那么怎么做呢?
我们引入一个重要的矩阵：$A^TA$. 求解过程转变为了求解 $A^TA\hat{x} = A^Tb$
这是一个 $n \times m$ 矩阵点乘 $m \times n$ 矩阵，其结果是一个$n \times n$矩阵，而且是一个对称矩阵. 我们可以用这个矩阵求最优解.
$A^TA$ 不一定是可逆的, 当列向量线性相关时, 就不可逆.
比如
先给出结论：
当且仅当 $N(A)$ 为零向量, 即A的列线性无关时, $A^TA$ 可逆
