图像变换

图像变换

• 包含内容：等距变换、相似变换、仿射变换、投影变换
• 相关链接：
  • https://blog.csdn.net/raby_gyl/article/details/52780644
  • https://blog.csdn.net/KinboSong/article/details/64923831
  • https://blog.csdn.net/aiwoshan0908/article/details/80047529
  • https://blog.csdn.net/u014096352/article/details/53526747
  • 基于Landmark的人脸对齐以及裁剪方法
    • https://www.cnblogs.com/cv-pr/articles/5438351.html
  • 平均脸
    • https://blog.csdn.net/dzJx2EOtaA24Adr/article/details/78610166?utm_source=blogxgwz4
• 求解相似变换矩阵、仿射变换矩阵的注释
  • icvGetRTMatrix函数详细注释：https://blog.csdn.net/xdfyoga1/article/details/44263271

相似变换原理及推导

• 释义：相似变换是旋转、平移、缩放变换的组合，包含四个参数：缩放因子s，旋转角度$\theta$，x方向平移$t_x$, y方向平移$t_y$
  • 变换矩阵为：
    $\left(\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right)$ = $\left(\begin{array}{ccc}scos(\theta )& ssin(\theta )& t_x\\ -ssin(\theta )& scos(\theta )& t_y\end{array}\right)$ $\left(\begin{array}{c}x\\ y\\ 1\end{array}\right)$ （1）
  • 令 $m_1=scos(\theta )$，$m_2=-ssin(\theta )$，$m_3=t_x$，$m_4=t_y$
  • 则 $x^{\prime }=m_{1}x-m_{2}y+t_x$, $y^{\prime }=m_{1}y+m_{2}x+t_y$
  • 相似变换矩阵有四个参数，实际上有两个点即可得出解，实际上可能由多个点，比如人脸关键点和标准关键点之间的相似变换矩阵求解，事实上，从原始点到目标点的变换矩阵为：
    $\left(\begin{array}{cccc}{x}_1& -y_1& 1& 0\\ y_1& x_1& 0& 1\\ x_2& -y_2& 1& 0\\ y_2& x_2& 0& 1\\ ...& ...& ...& ...\end{array}\right)$ $\left(\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\end{array}\right)$ = $\left(\begin{array}{c}{x}_1^{\prime }\\ y_1^{\prime }\\ x_2^{\prime }\\ y_2^{\prime }\\ ...\end{array}\right)$ （2）
  • (2)式写成$AM=B$，可得$A^{T}AM=A^{T}B$，即可照函数icvGetRTMatrix的计算方法，转换为如下的形式：
    $\left(\begin{array}{cccc}\Sigma x_i^2+y_i^2& 0& \Sigma x_i& \Sigma y_i\\ 0& \Sigma x_i^2+y_i^2& -\Sigma y_i& \Sigma x_i\\ \Sigma x_i& -\Sigma y_i& 1& 0\\ \Sigma y_i& \Sigma x_i& 0& 1\end{array}\right)$ $\left(\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\end{array}\right)$ = $\left(\begin{array}{c}\Sigma x_i{x}_i^{\prime }+y_i{y}_i^{\prime }\\ \Sigma x_i{y}_i^{\prime }-x_i^{\prime }{y}_i\\ \Sigma x_i^{\prime }\\ \Sigma y_i^{\prime }\end{array}\right)$ （3）
  • 其中第一行和第二行，分别是第三行和第四行乘以x或y，再求和所得
  • 则相似变换矩阵的四个参数可如下计算，即$M=(A^{T}A{)}^{-1}{A}^{T}B$：
    $\left(\begin{array}{c}{m}_1\\ m_2\\ m_3\\ m_4\end{array}\right)$ = ${\left(\begin{array}{cccc}\Sigma x_i^2+y_i^2& 0& \Sigma x_i& \Sigma y_i\\ 0& \Sigma x_i^2+y_i^2& -\Sigma y_i& \Sigma x_i\\ \Sigma x_i& -\Sigma y_i& 1& 0\\ \Sigma y_i& \Sigma x_i& 0& 1\end{array}\right)}^{-1}$ $\left(\begin{array}{c}\Sigma x_i{x}_i^{\prime }+y_i{y}_i^{\prime }\\ \Sigma x_i{y}_i^{\prime }-x_i^{\prime }{y}_i\\ \Sigma x_i^{\prime }\\ \Sigma y_i^{\prime }\end{array}\right)$ （4）
  • 公式（4）的中的逆矩阵可通过伴随矩阵方式计算，即$(A^{T}A{)}^{-1}=\frac{(A^{T}A{)}^{\ast }}{|A^{T}A|}$

双线性插值推导

• 假设相似变换前像素坐标(u,v)处的像素值为pSrc(u,v), 相似变换后的像素值为pDst(u,v)，双线性插值计算pDst(u,v)的步骤如下：
• 对相似变换后的像素坐标取整：
  $u_0=\lfloor u_{trans}\rfloor$
  $v_0=\lfloor v_{trans}\rfloor$
  $u_1=u_0+1$
  $v_1=v_0+1$
  $d_x=u_{trans}-u_0,d_y=v_{trans}-v_0$
• 计算双线性插值的权值：
  $(w_1=(1-d_x)\times (1-d_y),w_2=d_x\times (1-d_y),w_3=(1-d_x)\times d_y,w_4=d_x\times d_y$
• 双线性插值计算pDst(u,v)：
  $pDst(u,v)=w_1\times pSrc(u_0,v_0)+w_2\times pSrc(u_1,v_0)+w_3\times pSrc(u_0,v_1)+w_4\times pSrc(u_1,v_1)$
• 双线性插值的另外一种形式：
  $pDst(u,v)=w_1\times pSrc(u_0,v_0)+w_2\times pSrc(u_0,v_1)+w_3\times pSrc(u_1,v_0)+w_4\times pSrc(u_1,v_1)$
  =$(1-d_x)\times (1-d_y)\times pSrc(u_0,v_0)+d_x\times (1-d_y)\times pSrc(u_0,v_1)+(1-d_x)\times d_y\times pSrc(u_1,v_0)+d_x\times d_y\times pSrc(u_1,v_1)$
  =$(1-d_y)\times [(1-d_x)\times pSrc(u_0,v_0)+d_x\times pSrc(u_0,v_1)]+d_y\times [(1-d_x)\times pSrc(u_1,v_0)+d_x\times pSrc(u_1,v_1)]$
  =$(1-d_y)\times [pSrc(u_0,v_0)+d_x\times (pSrc(u_0,v_1)-pSrc(u_0,v_1))]+d_y\times [pSrc(u_1,v_0)+d_x\times (pSrc(u_1,v_1)-pSrc(u_1,v_0))]$
  • 令$m_t=pSrc(u_0,v_0)+d_x\times (pSrc(u_0,v_1)-pSrc(u_0,v_1))$，$m_b=pSrc(u_1,v_0)+d_x\times (pSrc(u_1,v_1)-pSrc(u_1,v_0))$
  • 则$pDst(u,v)=m_t+(m_b+m_t)d_y$