廣義逆矩陣(Pseudoinverse)神經(jīng)網(wǎng)絡(luò)

1、廣義逆矩陣（Pseudoinverse） 在神經(jīng)網(wǎng)絡(luò)學習算法中的應(yīng)用早在20世紀20年代初期，E.H.Moor 就提出了廣義逆矩陣的概念，但長期以來廣義逆矩陣的研究卻沒有受到人們的注意。直到1955年，隨著科學技術(shù)的迅猛發(fā)展，特別是電子計算機的出現(xiàn)，推動了計算科學的進步。R.Penrose又獨立提出廣義逆矩陣的概念后，情況才開始發(fā)生了變化。由于廣義逆矩陣在測量學，統(tǒng)計學等多領(lǐng)域中得到了廣泛應(yīng)用，產(chǎn)生了巨大的推動力量，使其在之后的近四十年的時間得到了迅猛發(fā)展，形成了完整的理論體系。一 廣義逆矩陣若A為非奇異矩陣，則線性方程組Ax=b的解為x=Ab，其中A的逆矩陣A滿足AA=A A=I(I為單位矩

2、陣)。若A是奇異陣或長方陣，Ax=b可能無解或有很多解。若有解，則解為x=Xb+(I-XA)，其中是維數(shù)與A的列數(shù)相同的任意向量，X是滿足AXA=A的任何一個矩陣，通常稱X為A的廣義逆矩陣，用A、A或A等符號表示，有時簡稱廣義逆或偽逆。當A非奇異時，A也滿足A AA=A，且x= Ab+(I- AA)= Ab。故非異陣的偽逆矩陣就是它的逆矩陣，說明偽逆矩陣確是通常逆矩陣概念的推廣。 1955年R.彭羅斯證明了對每個mn階矩陣A，都存在唯一的nm階矩陣X，滿足：AXA=A；XAX=X；(AX)AX；(XA)XA。通常稱X為A的穆爾-彭羅斯廣義逆矩陣，簡稱M-P逆，記作A。當A非奇異時，A也滿足，因

3、此M-P逆也是通常逆矩陣的推廣。在矛盾線性方程組Axb的最小二乘解中，xAb是范數(shù)最小的一個解。 若A是n階方陣，k為滿足（圖1）的最小正整數(shù)（rank為矩陣秩的符號），記作k=Ind(A)，則存在唯一的n階 方陣X，滿足： (1) AkXA=Ak；(2) XAX=X； (3) AX=XA。 通常稱X為A的德雷津廣義逆矩陣，簡稱D逆，記作Ad，A(d)或AD等。雖然 它和線性代數(shù)方程組的解無關(guān)，但它在線性差分方程、線性微分方程、最優(yōu)控制等方面都有應(yīng)用。二 廣義逆矩陣用于解線性方程組對于線性方程組 Ax=b (2-1)的求解問題，如果A是n階可逆矩陣，則方程(2-1)有唯一解，且可表述為 x=

4、Ab但是在一般情況下，A不是n階方陣或者在n階方陣的條件下，矩陣的秩小于n 。方程（2-1）有解的充要條件是 rank(A)=rank(A b) (2-2)自然人們會想到，是否也存在某個矩陣G，把解表示為 x=Gb (2-3)的形式，此式中的G必定與A具有某些行聯(lián)系。 通過前人的研究不難發(fā)現(xiàn)，式2-3中的G應(yīng)滿足 AGA=A (2-4)一般G不是唯一的。這樣我們就找到了通過求取矩陣的廣義逆矩陣解線性方程組的方法。這個方法在神經(jīng)網(wǎng)絡(luò)感知機的學習算法中被應(yīng)用，Pseudoinverse學習算法也成為一種經(jīng)典的算法，下面就介紹這種算法。三 人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)也簡稱為神經(jīng)網(wǎng)絡(luò)或稱作連接模型，是對

5、人腦或自然神經(jīng)網(wǎng)絡(luò)若干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡(luò)以對大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機理與機制，實現(xiàn)某個方面的功能。國際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計算機公司的創(chuàng)立者與領(lǐng)導(dǎo)人Hecht Nielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓撲結(jié)構(gòu)的動態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進行信息處理。” 這一定義是恰當?shù)摹?神經(jīng)網(wǎng)絡(luò)的發(fā)展無疑和網(wǎng)絡(luò)的拓撲結(jié)構(gòu)以及多樣的適應(yīng)性強的學習算法是分不開的，生物神經(jīng)網(wǎng)絡(luò)無疑是極其復(fù)雜的，但是在實際工程應(yīng)用當中，我們對生物神經(jīng)網(wǎng)絡(luò)做了簡化和抽象，其主要的組成元素為網(wǎng)絡(luò)節(jié)點下所示 人工神經(jīng)網(wǎng)

6、絡(luò)節(jié)點其中，x為神經(jīng)元的輸入，w為各輸入的權(quán)值，b為外部輸入，在神經(jīng)元的第一級加權(quán)求和，在經(jīng)過f處理函數(shù)從神經(jīng)元輸出。神經(jīng)元構(gòu)成的人工神經(jīng)網(wǎng)絡(luò) 單層神經(jīng)網(wǎng)絡(luò)對上神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的數(shù)學描述 (3-1) (3-2) (3-3) 神經(jīng)網(wǎng)絡(luò)學習算法就是找到最優(yōu)的權(quán)值w，使目標輸出=f(WP)和正確值相等。這個尋找求解的過程這就是所謂的用訓練樣本來訓練神經(jīng)網(wǎng)絡(luò)的過程。四 Pseudoinverse學習算法神經(jīng)網(wǎng)絡(luò)學習的過程實質(zhì)就是利用訓練樣本不斷調(diào)整神經(jīng)元之間的連接權(quán)，使其在錯誤中不斷提高處理性能。所謂的訓練樣本是指事先給定的樣本對，其中包含正確的輸入及輸出信息，用這些正確的信息就能實現(xiàn)對網(wǎng)絡(luò)的訓練功能。P

7、seudoinverse學習算法也不例外，其網(wǎng)絡(luò)為單層多輸入結(jié)構(gòu)。輸出函數(shù)為 y=WP (4-1)誤差可表述為 (4-2)為使誤差函數(shù)達到最小值，我們直觀的可以看到應(yīng)該找到這樣的W使 WP=T (4-3)可得 W=TP (4-4)不難發(fā)現(xiàn)若式（4-4）成立， P矩陣必須存在可逆矩陣P?？墒牵趯嶋H的工程應(yīng)用當中P不存在逆矩陣的現(xiàn)象是極其常見的。在W的求解過程中我們就會遇到求解廣義逆矩陣的問題。我們更一般的表達 W=TP (4-5)其中 P= (PP)P (4-6) 這樣復(fù)雜的方程組就順利的用數(shù)學方法求解出來了，正是在實際工程當中的現(xiàn)實需求，廣義逆矩陣理論才在沉默了幾十年之后得到了迅速的發(fā)展。在MATLAB中也直接有相關(guān)函數(shù)直接用于計算矩陣的廣義逆的方法函數(shù) INV(A) (4-7)五 總結(jié) 廣義逆矩陣源于線性方程組，但是廣義逆矩陣不僅與線性方程組的求解問題有關(guān)，而且在求解系統(tǒng)的最優(yōu)