时间:2017年9月1日 天气:阴:cloud:
Author:冬之晓
Email: 347916416@qq.com
向量的线性相关性
如果有一组向量：
对于线性组合：
只有当：
全部为零时才成立。 那么说明
线性无关。 如果把这组向量组合成m行n列的矩阵：
不相关即等价于方程：
只有一个0解，也即矩阵A的零空间N(A)只有零向量，矩阵A的秩R(A)=n，矩阵A没有自由变量； 如果线性相关则说明有非零解，也即矩阵A的零空间N(A)有非零向量，矩阵A的秩R(A) < n，矩阵A含有自由变量。
向量张成的空间
如果有向量：
我们称这些向量的所有线性组合就是这些向量张成的空间。
向量空间的基
如果有向量：
他们满足：
1.线性无关 2.张成一个m(m可以小于向量中元素的个数)维空间 则称这些向量是该m维空间的一组基向量。 如果得到一个空间的一组基，就相当于有了这个空间的所有信息啦！
- 显然，对于m行n列的矩阵A来说，矩阵A的秩R(A)就是矩阵A的列空间C(A)的维数。
- 矩阵A的零空间N(A)的维数等于n-R(A)，这个值即是我们使用前面讲的消元法得到的自由列的数目。
- 因为所以矩阵A的行空间的维数等于秩R(A)。
- 显然，矩阵A转置的零空间（左零空间）的维数等于m-R(A)。
下面，然我们看看如何求矩阵中这四个空间的基。 我们可以通过行变换最简矩阵的方式：
- 显然，R矩阵中主元对应的行就是矩阵A的行空间的基。（行变换不改变矩阵的行空间，即C(A)=C(R)，R的每一行都是A原来行的线性组合）
- R矩阵中主元对应的列数在A中取得的那些列就是矩阵A的列空间C(A)的基。
- 使用前面讲的消元法得到的方程组的自由变量就是矩阵A的零空间N(A)的基。
- 因为所以找到矩阵R中零向量所对应的行数在E中取得的那些行就是矩阵A转置的零空间（左零空间）的基
正交向量和正交空间
如果向量x,y满足：
则说明x和y向量正交。 如果两个空间中分别任意取一个向量，然后都正交，则说明这两个空间正交。 对应矩阵的四个主要空间来说： 矩阵A的行空间和矩阵A的零空间相互正交。 因为
可以看出，零空间x的解和矩阵A的每一行向量乘积都是0。 同理，矩阵A的列空间和矩阵A的左零空间相互正交。
求解无解方程的最优解
假设方程：
无解，我们将两边同时左乘A的转置，得到方程：
这个方程有解。这个解就是方程的最优解。
关于原因，我们先从一维的情况看：
之后也可以计算投影
显然，对应方程
无解的时候，我们需要微调b使得其落在A的空间中，这就需要用A的正交投影矩阵乘以b，使得微调后的方程
有解。
若想求解该问题，先看下图：
构成。 显然，如果向量b不在该超平面上，则方程
肯定无解，因此需要将b正交投影到该平面上，得到p，这样才能得到近似解：
为了找到该方程的解，我们从几何的角度考虑，因为误差e向量与C(A)超平面正交，因此：
同时：
显然，e在A的转置的零空间(A的左零空间)中，我们将(2)带入(1)式中，得到：
这时已经得到近似解，但是我们还可以更进一步，得到A的正交投影矩阵P，因为：
对比上面两个式子可得A的正交投影矩阵：
思考一下，当A可逆时，A的正交投影矩阵可以化简：即，单位阵，为什么？因为当A可逆时，A的列空间可以张成到整个空间，因此空间中的任意向量投影在整个空间中后还是原向量，因此此时A的正交投影矩阵只能是单位阵。
