投影矩陣廣泛地應(yīng)用在數(shù)學(xué)相關(guān)學(xué)科的各種證明中，但是由于其概念比較抽象，所以比較難理解。這篇文章主要從最小二乘法的推導(dǎo)導(dǎo)出投影矩陣，并且應(yīng)用SVD分解，寫出常用的幾種投影矩陣的形式。

問題的提出

已知有一個這樣的方程組：

其中，A∈Rm×n,x,b∈Rn$A\in R^{m\times n},x,b\in R^n$

• 當(dāng)m=n$m=n$時，且rank(A)=n$rank(A)=n$時，這是一個適定方程組，有唯一解x=A1b$x=A^{1}b$
• 當(dāng)m<n$m<n$時，或者rank(A)<n$rank(A)<n$時，這是一個欠定方程組，有無窮多個解。對于這種情況，我們使用ran(A)$ran(A)$中與b$b$距離最近的向量對應(yīng)的x$x$作為最小二乘解。而相應(yīng)的ran(A)$ran(A)$中的這個向量就是b$b$在空間ran(A)$ran(A)$中的投影。

最小二乘法

幾何解法

如上圖所示，b$b$不在ran(A)$ran(A)$中，Ax0$A{x}_0$是ran(A)$ran(A)$空間中對b$b$在歐幾里得范數(shù)下的最好估計(jì)。此時

等價于

xTAT(bAx0)=0$$x^T{A}^T(bA{x}_0)=0$$

由于x的任意性，所以

AT(bAx0)=0$$A^T(bA{x}_0)=0$$

整理得

x0=(ATA)1ATb=Ab$$x_0=(A^{T}A{)}^1{A}^{T}b=A^{}b$$

其中A=(ATA)1AT$A^{}=(A^{T}A{)}^1{A}^T$稱為A的偽逆。

數(shù)值解法

原問題等價于

記f(x)=||Axb||22=(Axb)T(Axb)=xTATAx2bTAx bTb$f(x)=||Axb|{|}_2^2=(Axb{)}^T(Axb)=x^T{A}^{T}Ax2b^{T}Ax{b}^{T}b$,對x求導(dǎo)得，

解得，

x=(ATA)1ATb=Ab$$x=(A^{T}A{)}^1{A}^{T}b=A^{}b$$

投影矩陣

對最小二乘解兩邊同時乘以A，就是對應(yīng)的投影向量，即

那么P=A(ATA)1AT$P=A(A^{T}A{)}^1{A}^T$就是將b$b$投影到ran(A)$ran(A)$的投影矩陣。因?yàn)?/p>

滿足投影矩陣的定義。
所以ran(A)$ran(A)$對應(yīng)的投影矩陣為

P=A(ATA)1AT$$P=A(A^{T}A{)}^1{A}^T$$

SVD分解下的投影矩陣

秩為r的矩陣A的SVD分解為A=UΣVT∈Rm×n$A=U\mathrm{\Sigma }{V}^T\in R^{m\times n}$。其中，

那么，帶入公式可以得到

VrVTr$V_r{V}_r^T$是ran(AT)=null(A)⊥$ran(A^T)={null(A)}^{\mathrm{\perp }}$空間的投影矩陣
UrUTr$U_r{U}_r^T$是ran(A)$ran(A)$空間的投影矩陣

對于x∈Rn$\mathrm{}x\in R^n$,有

所以，V~rV~rT${\tilde{V}}_r{{\tilde{V}}_r}^T$是null(A)$null(A)$空間的投影矩陣
同理,U~rU~rT${\tilde{U}}_r{{\tilde{U}}_r}^T$是null(AT)=ran(A)⊥$null(A^T)={ran(A)}^{\mathrm{\perp }}$空間的投影矩陣

歡迎閱讀我的文章，如發(fā)現(xiàn)問題，請務(wù)必留言指正。 本博客內(nèi)容除注明轉(zhuǎn)載的內(nèi)容外，均為作者原創(chuàng)，轉(zhuǎn)載請注明原地址！ 博客地址：http://www.cnblogs.com/connorzx/ 希望在未來的日子里我和你共同進(jìn)步。

本站僅提供存儲服務(wù)，所有內(nèi)容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊舉報(bào)。