机器学习与线代的爱恨情仇

线性代数

1. 内积

$\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right]=\sum _{i=1}^n{x}_i{y}_i$

2. 相似矩阵

两个n阶方阵A和B为相似矩阵，当且仅当存在一个n阶可逆矩阵P使得：
$$P^{-1}AP=B$$
方阵P称为A和B之间的相似变换矩阵，方阵A相似B记做：A~B

3. Jordan标准型

对任意一n阶矩阵A,必存在n阶可逆矩阵P,使得：
$$P^{-1}AP=\left[\begin{array}{cccc}{J}_1& & & \\ & J_2& & \\ & & \ddots & \\ & & & J_n\end{array}\right]=J$$，其中每一个对角块都是Jordan块：
$$J_i=\left[\begin{array}{ccccc}{\lambda }_i& 1& & & \\ & {\lambda }_i& 1& & \\ & & {\lambda }_i& \ddots & \\ & & & \ddots & 1\\ & & & & {\lambda }_i\end{array}\right]$$
，对角线上同为${\lambda }_i$,${\lambda }_i$的上面都有一个1，其余元素都是0

4. 相似对角化

矩阵$A_{n\ast n}$可相似对角化的条件为A有n个线性无关的特征向量；可以理解为每一个特征值的几何重数等于代数重数

5. 矩阵的等价、相似与合同

矩阵等价：如果两个矩阵满足QAP=B，其中Q与P都为可逆矩阵则A与B等价
矩阵相似：$P^{-1}AP=B$,则A与B相似
矩阵合同：若存在可逆矩阵C，使得$C^{T}AC=B$则称方阵A与B合同，记做A=B

6. 二次型

n阶实对称阵A的二次型定义为$f=x^{T}Ax$
对称阵A叫做二次型$f$的矩阵，$f$叫做对称阵的二次型
给定一个二次型就能唯一地确定一个对称阵；反之任给一个对称阵也能唯一确定一个二次型

7. 正定、半正定矩阵

对于n阶对称方阵A
正定矩阵：二次型$x^{T}Ax>0$,$\forall x\ne 0$$\left(对称方阵A所有特征值均为正数\right)$
半正定矩阵：二次型$x^{T}Ax\ge 0$,$\forall x\ne 0$$\left(对称方阵A的所有特征值均为非负数\right)$

8. 向量的范数

$x\in R^n$
${\iota }_1$范数$\Vert x{\Vert }_1=\sum _{j=1}^n|x_j|$
${\iota }_2$范数$\Vert x{\Vert }_2=(x_1^2+x_2^2+\cdots +x_n^2{)}^{\frac{1}{2}}$
${\iota }_{\infty }$范数$\Vert x{\Vert }_{\infty }=max(|x_1|,\cdots ,|x_n|)$无穷范数

9. 矩阵的范数

1. 谱范数：
   $\Vert A{\Vert }_2={\delta }_{max}=\sqrt{{\lambda }_{max}}$,${\lambda }_{max}$位$A^{T}A$的最大特征值，${\delta }_{max}$为方阵A最大奇异值
2. p范数
   ${\iota }_p$范数 $\Vert A{\Vert }_p=\underset{x\ne 0}{\max }\frac{\Vert Ax{\Vert }_p}{\Vert x{\Vert }_p}$

10. 最小二乘法

1. 目标
   SSE(sum squares of error):$SSE=\sum _{i=1}^m(y_i-{\hat{y}}_i{)}^2$
2. 特点
   最小二乘法是残差满足正态分布情况下的最大似然估计