线性代数基础8--正交与投影,最小二乘法的线性解释

下面进入线性代数的第二部分,主要是研究空间的正交性
1,

之前提到过四个基本子空间的维数,现在继续深入
行空间与0空间相互正交(交集只有0向量),列空间与左零空间也相互正交.

2,

两个向量正交,就等价于上面的公式.也可以说,做一个x与y的点乘.
以下是证明

这里x的转置×y与y的转置×x是相同的,因为点乘是一个数,所以一个数的转置任然是这个数.所以从向量的勾股定理得出这个结论.
并且0向量与任意向量都正交.

这是x向量与y向量正交的两种现象,一种是模,一种是点乘为0.

3,将正交的概念推广到空间.

如果说空间S与空间T相互正交,就是说S中的任意一个向量都与T中向量正交.
所以说黑板平面与地板平面两个平面是否为正交的?
结果是不是,因为有一些向量同时在两个平面上.它肯定不垂直于自己

所以说,如果一个向量(除了0向量)同时存在于两个平面,那这两个平面一定不正交.

4,行空间与0空间相互正交
证明过程如下

需要证明X与任意行的线性组合都正交.

零空间与行空间是N维空间的正交补,因为他们维数加起来等于N,且相互正交,互为正交补空间说明什么?
说明0空间中包含所有正交于行空间的向量.而不是部分.

5,第二部分的重要问题是:
如果AX=B没有解,如何去解这个方程组.听上去有一些矛盾.

如果有M个方程,N个未知数,并且M>N,那么求解AX=B很容易出现无解的情况.因为必然有0行.
当M>N,并且B中有坏的数据时候,AX=B就解不出来.所以我们要做的就是把其中的坏数据挑选出来.

最简单的方法就是,将坏数据的方程去掉,得到一个可逆的矩阵.
第二种方法:同乘以A的转置.

这个新的方程组与原方程组解不同,但是我们希望求出新的方程组的解.并且是最优解.

6,第二部分一个重要矩阵

这个矩阵结果一定为方阵,N×N并且满足转置之后不变,也就是对称方阵.但结果不一定可逆.
但是有两条重要性质

那么A的转置×A何时可逆,就是当A可逆的时候,0空间只有0向量的时候.

两个秩为1的矩阵相乘结果的秩不大于1.

7,投影

其实就是a与e垂直,e可以表达为b-xa,并且a的转置表示一行,并且x为一个数字.
化简如下:


这个式子表示如果b变为2倍,p(投影)也变成二倍.a变为2倍,p不变.

如果我们建立一个投影矩阵的概念.如上就可得到p=Pb,P矩阵如上.它的分母是一行乘以一列所以是一个数字,分子是一个n维矩阵.

这个P投影矩阵有几个重要性质.

由于b向量经过投影矩阵得到p,p=xa所以p向量的维数与a空间的维数相同.
P为对称矩阵
P的平方等于P,因为投影两次,第二次的结果不变.

8,为什么要做投影

当B不在A的列空间中时,AX=B就会无解.一个解决方法可以是:将B向量投影到A的列空间中得到P,这样就可以保证AX=P有解.注意这两个X并不相同,而是最接近的解.

对于多维的情况:

如图,e可以看作是b与p的误差.只有在A平面上的b才有解.通过投影得到p,注意a1,a2的线性组合x变成了最近似结果(因为垂直误差最小),所以x要加一个上标.

有如上推理过程,与一维的情况类似.误差e就在A的左零空间中,这也可以联系左零空间与列空间相互垂直.e就是左零空间中的一个向量,垂直于列空间.

由此我们推出了n维投影的近似解x_,投影与投影矩阵的公式,这里可以看出与一维形式相吻合,不过一维形式a的转置乘a为一个数,所以逆变成了倒数

那么矩阵乘法符合结合律,那么是否可以得到上图的公式?
答案是不可以,这里的关键问题是A不一定可逆,当A可逆的时候,表示的是整个Rn空间,所以投影矩阵才是单位矩阵.因为对于长方矩阵2×3,A的秩为2,那么A不可逆但是另一个却是可逆的.
这里有个重要的问题是A的转置乘以A是否一定可逆?
如果矩阵A的列向量线性无关，那么A转置乘以A可逆,这里A的列向量选取的是基,A列满秩,所以一定是可逆的.
如果A是方阵,那么就表示的是整个空间Rn了.

最后P同样有这两条性质

9,线性代数在回归中的应用

在回归问题中,我们需要找到一条直线,使得几个样本点,都尽可能靠近这条直线,也就是误差最小.
误差就是投影中的误差e,通过垂直来使得每个点的误差最小.

这里定义了解出最优直线的第一种方法,就是多元函数求偏导求解

这里就是一直提到的正规方程的来历,它使用的就是A的列空间与误差垂直时,误差最小.也就是前面A转置(b-p)=0的方程.那么我们需要知道几个关键量.b为[1,2,2]就是原来样本点的结果,我们需要将这个向量投影到A的线性空间内.那么A是什么?我们把样本的X都带入得到一组方程,我们想让这组方程的结果与b接近.C和D就是x_,我们要求一个线性组合,就是这个方程组.所以A是这样得到的.p表示确定了线性组合以后投影在直线上的哪个点.e很明显.
这里A的列空间其实是一个平面,需要在这个平面上,找到与b垂直的那条线,就是误差最小的.

以上两个方法最后得到的结果都是上面这两个方程

这里的p和e两个是相互垂直的所以点积为0.并且这里e还垂直于列空间的任意向量,这里简单的取[1,1,1].[1,2,3]验证

10,

这里可以将b看作两个垂直方向的分量.如下图


b在列空间上的投影是pb,是没有问题的.那么b在左零空间上的投影是什么呢?
e=(I-P)b,展开就可以得到结果.在上面一直提到的是e=b-AX_,这里AX_就等于pb

如果b垂直于列空间,说明他是左零空间的一个向量,就有A的转置×b=0,所以从上面公式可以看出p=0.

我们如何表示A的列向量呢?很简单b=AX就表示A的列空间.所以AX表示一个列空间中的向量,把它带入到p中就可以看出p=AX=b

11,

证明如果A线性无关,那么A的转置乘A可逆.

证明方法为,左右乘x的转置,由于AX一定是一个向量,所以就成了一行乘一列.得到AX=0,A线性无关,所以X=0.

12,

相互垂直的向量,一定线性无关.这样就可以构造出标准正交向量组(单位向量模为1并且两两正交).
例子: