矩陣論在神經(jīng)網(wǎng)絡(luò)中的應(yīng)用詳解

1、矩陣論論文論文題目：矩陣微分在BP神經(jīng)網(wǎng)絡(luò)中的應(yīng)用姓名：崔義新學(xué)號：20140830院（系、部）：數(shù)學(xué)與信息技術(shù)學(xué)院專業(yè)：數(shù)學(xué)班級：2014級數(shù)學(xué)研究生導(dǎo)師：花強(qiáng)完成時(shí)間：2015 年6月矩陣微分是矩陣論中的一部分，是實(shí)數(shù)微分的擴(kuò)展和推廣.因此，矩陣微分具有與實(shí)數(shù)微分的相類似定義與性質(zhì).矩陣微分作為矩陣論中的基礎(chǔ)部分，在許多領(lǐng)域都有應(yīng)用， 如矩陣函數(shù)求解，神經(jīng)網(wǎng)絡(luò)等等.BP網(wǎng)絡(luò)，即反向傳播網(wǎng)絡(luò)(Back-Propagation Network)是一種多層前向反饋神經(jīng)網(wǎng)絡(luò)， 它是將W-H學(xué)習(xí)規(guī)則一般化，對非線性可微分函數(shù)進(jìn)行權(quán)值訓(xùn)練的多層網(wǎng)絡(luò).它使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和

2、閾值，使網(wǎng)絡(luò)的誤差平方和最小.在其向前傳播的過程中利用了矩陣的乘法原理，反傳的過程中則是利用最速下降法，即沿著誤差 性能函數(shù)的負(fù)梯度方向進(jìn)行，因此利用了矩陣微分 .關(guān)鍵詞：矩陣微分；BP神經(jīng)網(wǎng)絡(luò)；河北大學(xué)2014級研究生矩陣論論文矩陣微分(Matrix Differential)也稱矩陣求導(dǎo)(Matrix Derivative),在機(jī)器學(xué)習(xí)、圖像處理、 最優(yōu)化等領(lǐng)域的公式推導(dǎo)過程中經(jīng)常用到.本文將對各種形式下的矩陣微分進(jìn)行詳細(xì)的推 導(dǎo).BP (Back Propagation神經(jīng)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家 小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋

3、網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò) 模型之一 .BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種 映射關(guān)系的數(shù)學(xué)方程.它的學(xué)習(xí)規(guī)則是使用最速下降法，通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的 權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小.BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層(input)、 隱層(hiddenlayer)和輸出層(outputlayer).BP (Back Propagation)神經(jīng)網(wǎng)絡(luò)，即誤差反傳誤差反向傳播算法的學(xué)習(xí)過程，由信息 的正向傳播和誤差的反向傳播兩個(gè)過程組成.輸入層各神經(jīng)元負(fù)責(zé)接收來自外界的輸入信息，并傳遞給中間層各神經(jīng)元；中間層是內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)

4、信息變化 能力的需求，中間層可以設(shè)計(jì)為單隱層或者多隱層結(jié)構(gòu)；最后一個(gè)隱層傳遞到輸出層各神 經(jīng)元的信息，經(jīng)進(jìn)一步處理后，完成一次學(xué)習(xí)的正向傳播處理過程，由輸出層向外界輸出 信息處理結(jié)果.當(dāng)實(shí)際輸出與期望輸出不符時(shí)，進(jìn)入誤差的反向傳播階段.誤差通過輸出層，按誤差梯度下降的方式修正各層權(quán)值，向隱層、輸入層逐層反傳.周而復(fù)始的信息正向傳播和誤差反向傳播過程，是各層權(quán)值不斷調(diào)整的過程，也是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練的過程，此過程一直進(jìn)行到網(wǎng)絡(luò)輸出的誤差減少到可以接受的程度，或者預(yù)先設(shè)定的學(xué)習(xí)次 數(shù)為止.1矩陣的微分相對于向量的微分的定義定義1對于n維向量函數(shù)，設(shè)函數(shù)f( X ) = f(x1,X2|,Xn)是以向

5、量X為自變量的數(shù)量函數(shù)，即以n個(gè)變量xi為自變量的數(shù)量函數(shù).我們將列向量叫做數(shù)量函數(shù)f對列向量X的導(dǎo)數(shù),?xn J記作df dX=grad f = fdf*cf I：xn(1.1)河北大學(xué)2014級研究生矩陣論論文例 1.求函數(shù) f (X) =XTX = X12+x；十|十X；對X的導(dǎo)數(shù)解：根據(jù)定義一占1dfdX-：Xi2X1X 1：=2 ；2xnXn=2X相對于矩陣的微分的定義定義2設(shè)函數(shù)f =f( A)是以PXm矩陣A的PXm元素a7為自變量的數(shù)量函數(shù)，簡稱以矩陣A為自變量的數(shù)量函數(shù).例如f =a；11 a12 a21a21 a22a23 an a21 a22=1ai 1 1a111a21

6、ai2a22人a111=a, A a = f Aai 1a 1。1a 2定義:PXm矩陣Qf制1III-a m&fIf：ap1IIId f (A) 一dA(1.2)稱為數(shù)量函數(shù)f對矩陣A的導(dǎo)數(shù)，記作d f(A)dA例2:求f(A) = XT AX對矩陣A的導(dǎo)數(shù)，其中向量X是定常的，A是對稱的.解：f (A) = I-X1 x2 1a111a211a22 /lX2 I22三 x1a11X1X2al2x1X2a21X2a22根據(jù)定義有df (A)dA交蜘1交回1X12X1X2X1X22XX喂=XX T(X T A X) = X TX d A河北大學(xué)2014級研究生矩陣論論文定義3如果矩陣A(t)=

7、 (a“t)產(chǎn)Cmxn的每個(gè)元素a0 (t)都是t的可微函數(shù)，則A(t)關(guān)于t的導(dǎo)數(shù)(微商)定義為：A/+、dA/d t(1.3)A (t)( aij (t) m ndt dt復(fù)合函數(shù)的微分公式 1 設(shè) f = f(Y) , Y =Y(X),則d f YTI_ dX- dXAf -f dX TdY T_d f dYYddXT(1.4)證明：由給定條件有df n-dv dY 和 dY d Y T將上式結(jié)合起來Hf . dfdYdf 丁 丁 dXdY T dX TdYdX7=df df dYdXT -dYT dXT公式 2 設(shè) f = f( X,Y ) , Y =Y( X ),則(1.5)d f

8、f f W f f r- dXX dX Ydf df f d Y ! = rdX T dX T Y TdX2人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的定義定義4人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng) .它 是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出的，試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息 的方式進(jìn)行信息處理.人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANN )是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征， 進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型.這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部 大量節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的.人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，

9、可以通過預(yù)先提供的一批相互對應(yīng)的輸入-輸出數(shù)據(jù)，分析掌握兩者之間潛 在的規(guī)律，最終根據(jù)這些規(guī)律，用新的輸入數(shù)據(jù)來推算輸出結(jié)果，這種學(xué)習(xí)分析的過程被河北大學(xué)2014級研究生矩陣論論文稱為“訓(xùn)練”.人工神經(jīng)網(wǎng)絡(luò)的模型由于人工神經(jīng)網(wǎng)絡(luò)是受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)構(gòu)造而成的，所以在開始討論人工神經(jīng) 網(wǎng)絡(luò)之前，有必要首先考慮人腦皮層神經(jīng)系統(tǒng)的組成.科學(xué)研究發(fā)現(xiàn)，人的大腦中大約有 100億個(gè)生物神經(jīng)元，它們通過 60萬億個(gè)聯(lián)接聯(lián) 成一個(gè)系統(tǒng).每個(gè)神經(jīng)元具有獨(dú)立的接受、處理和傳遞電化學(xué)信號的能力.這種傳遞經(jīng)由構(gòu)成大腦通信系統(tǒng)的神經(jīng)通路所完成.單個(gè)神經(jīng)元處理一個(gè)事件需要10s,而在硅芯片中處理一事件只需10-9s.

10、但人腦是一個(gè)非常高效的結(jié)構(gòu)，大腦中每秒每個(gè)動(dòng)作的能量約為106J,而當(dāng)今性能最好的計(jì)算機(jī)進(jìn)行相應(yīng)的操作需要 10J.圖1所示是生物神經(jīng)元及其 相互聯(lián)接的典型結(jié)構(gòu).圖1:生物神經(jīng)元及其相互聯(lián)接的典型結(jié)構(gòu)(1)生物神經(jīng)元主要由樹突、軸突、突觸和細(xì)胞體組成 .其中樹突是由細(xì)胞體向外伸 出的，有不規(guī)則的表面和許多較短的分支.樹突相當(dāng)于信號的輸入端，用于接受神經(jīng)沖動(dòng)(2)軸突是由細(xì)胞體向外伸出的最長的一條分支，即神經(jīng)纖維，相當(dāng)于信號的輸出 電纜.(3)突觸是神經(jīng)元之間通過軸突(輸出)和樹突(輸入)相互聯(lián)結(jié)點(diǎn) .(4)細(xì)胞體完成電化學(xué)信號整合與處理，當(dāng)胞體中接受的累加刺激超過一個(gè)閾值時(shí)， 胞體就被激發(fā)，此

11、時(shí)它沿軸突通過樹突向其它神經(jīng)元發(fā)出信號.我們要構(gòu)造一個(gè)人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)，要從以下三個(gè)方面對生物神經(jīng)網(wǎng)絡(luò)進(jìn)行模擬：(1)人工神經(jīng)元(也簡稱為節(jié)點(diǎn))本身的處理能力；(2)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(人工神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu))；河北大學(xué)2014級研究生矩陣論論文（3）節(jié)點(diǎn)與節(jié)點(diǎn)之間連接的強(qiáng)度（通過學(xué)習(xí)算法來調(diào)整）因此，首要任務(wù)是構(gòu)造人工神經(jīng)元模型.對于每一個(gè)人工神經(jīng)元來說，它可以接受一組來自系統(tǒng)中其它神經(jīng)元的輸入信號，每個(gè)輸入對應(yīng)一個(gè)權(quán)，所有輸入的加權(quán)和決定Ig神經(jīng)元的激活狀態(tài).這里，每個(gè)權(quán)就相當(dāng)于突 觸的“聯(lián)接強(qiáng)度”.基本模型如下圖2.圖2:人工神經(jīng)網(wǎng)絡(luò) 基本模型圖中yi是第i個(gè)神經(jīng)元的輸出，它可與其他多個(gè)神

12、經(jīng)元通過權(quán)連接：u1,., u j,., un分別指與第i個(gè)神經(jīng)元連接的其他神經(jīng)元輸出；w1i,.,wji,.,wni分別是指其他神經(jīng)元與第i個(gè) 神經(jīng)元連接的權(quán)值；0是指第i個(gè)神經(jīng)元的閾值；Xi是第i個(gè)神經(jīng)元的凈輸入；f （x）是非線性函數(shù)，稱為輸出函數(shù)或激活函數(shù).激活函數(shù)常有以下幾種行放大處理或限制在一個(gè)適 當(dāng)?shù)姆秶鷥?nèi).典型的激活函數(shù)有符號函數(shù)、階躍函數(shù)、S型函數(shù)等.目前，已有的人工神經(jīng)網(wǎng)絡(luò)模型至少有幾十種，其分類方法也有多種.例如，若按網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，可分為無反饋網(wǎng)絡(luò)與有反饋網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的學(xué)習(xí)方法，可分為有導(dǎo)師的學(xué) 習(xí)網(wǎng)絡(luò)和無導(dǎo)師的學(xué)習(xí)網(wǎng)絡(luò)；若按網(wǎng)絡(luò)的性能，可分為連續(xù)型網(wǎng)絡(luò)與離散型網(wǎng)絡(luò)，或

13、分為 確定性網(wǎng)絡(luò)與隨機(jī)型網(wǎng)絡(luò)；若按突觸連接的性質(zhì)，可分為一階線性關(guān)聯(lián)網(wǎng)絡(luò)與高階非線性 關(guān)聯(lián)網(wǎng)絡(luò).BP人工神經(jīng)網(wǎng)絡(luò)模型1986年Rumelhart, Hinton和 W川iams完整而簡明地提出一種 ANN的誤差反向傳播 訓(xùn)練算法（簡稱BP算法），系統(tǒng)地解決了多層網(wǎng)絡(luò)中隱含單元連接權(quán)的學(xué)習(xí)問題，由此 算法構(gòu)成的網(wǎng)絡(luò)我們稱為BP網(wǎng)絡(luò).BP網(wǎng)絡(luò)是前向反饋網(wǎng)絡(luò)的一種，也是當(dāng)前應(yīng)用最為廣泛 的一種網(wǎng)絡(luò).誤差反傳算法的主要思想是把學(xué)習(xí)過程分為兩個(gè)階段：第一階段（正向傳播過程）， 給出輸入信息通過輸入層經(jīng)隱含層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段（反向過 程），若在輸出層未能得到期望的輸出值，則逐層遞歸

14、地計(jì)算實(shí)際輸出與期望輸出之差值 （即誤差），以便根據(jù)此差值調(diào)節(jié)權(quán)值，具體來說，就是可對每一權(quán)重計(jì)算出接收單元的河北大學(xué)2014級研究生矩陣論論文誤差值與發(fā)送單元的激活值的積.基于BP算法的多層前饋型網(wǎng)絡(luò)的結(jié)構(gòu)如圖 3所示.BP人工神經(jīng)網(wǎng)絡(luò)基本算法公式推導(dǎo)為了方便理解，不妨設(shè)含有共 L層和n個(gè)節(jié)點(diǎn)的任意一個(gè)三層BP神經(jīng)網(wǎng)絡(luò)，每層單 位元只接受前一層的輸出信息并輸出給下一層各單元，各單位元的特性為Sigmoid型(它是連續(xù)可微的，且值域在0-1之間).設(shè)給定N個(gè)樣本(Xk，yk)(k=1,2,., N),任一節(jié)點(diǎn)i的 輸出為Q,對某一個(gè)輸入為Xk,網(wǎng)絡(luò)的輸出為丫節(jié)點(diǎn)i的輸出為Qk。正向傳播過程，對

15、于輸入層單位元一般無計(jì)算能力，只是作為傳輸和儲存.現(xiàn)在研究隱藏層，設(shè)輸入層到隱藏層連接矩陣為 Wij1 ,當(dāng)輸入第k個(gè)樣本，節(jié)點(diǎn)j的輸入為 nefk=E*Xjk(2)隱藏層的第j個(gè)單元，當(dāng)輸入第k個(gè)樣本時(shí)，節(jié)點(diǎn)j的輸出為Ok=f(O1k+H)其中，f為非線性激活函數(shù)，一般取為(0,1)內(nèi)連續(xù)取值Sigmoid函數(shù)；bjk為l層神經(jīng)單位元的閾值，net2k表示隱藏層，輸入第k個(gè)樣本時(shí)，第j個(gè)單元節(jié)點(diǎn)的輸入.類似的，輸出層的輸入為nefk=EW3202k2)對于輸出層的輸出，激活函數(shù)有時(shí)采用Sigmoid函數(shù)，但有時(shí)也會采用純線性函數(shù)，在止匕, 我們以純線性函數(shù)為例，則輸出層的輸出為Ok=f(a+

16、b2)(2.3)采用的誤差函數(shù)為河北大學(xué)2014級研究生矩陣論論文12Ek = ( ylk - ylk )2 l(2.4)其中猿為單元j的實(shí)際輸出.總誤差為1 NE 二、Ek2N k(2.5)定義-:Ek-J-netjk于是jk ： Ek l.lwijnetjk:wijfnet廠-jk(2.6)jk卜面分兩種情況來討論:（1）若節(jié)點(diǎn)j為輸出單元，則l-jk=yjk、；=、. 32jk jk-:Ek-:Ek；：Yjk,l netjk可jk Fnej二-Wk -yQf (回)(2.7)（2）若節(jié)點(diǎn)j不是輸出單元，則、. lk =、.？jk jk：Ek-Ek -jk:netjk由jk cnetjk2

17、口jkf (netjk)(2.8)式中口jk是送到下一層（l + 1）層的輸入,計(jì)算.：Ek-_ l- - jk要從（1 + 1）層算回來.在（l+1）層第m個(gè)單元時(shí)：Ekl 1_ x - Ek- netmkt,、 五 、廠 netmk 二二：Ek l 1r7wmj-l -1 l 1=,mkWmj(2.9)jk mmk將式（2.9 ）代入式（2.8 ）中，則得-l 1 l 1l二mkWmj f (netjk)總結(jié)上述結(jié)果，有.l 1 l 1l mk Wmj f (netjk)：Ek-l二 Wij.l 11 =O.O. jk jk(2.11 )河北大學(xué)2014級研究生矩陣論論文誤差的反向傳播，即

18、首先由輸出層開始逐層計(jì)算各層神經(jīng)元的輸出誤差，然后根據(jù)誤差梯 度下降法來調(diào)節(jié)各層的權(quán)值和閾值，使修改后的網(wǎng)絡(luò)的最終輸出能接近期望值.根據(jù)誤差梯度下降法依次修正輸出層權(quán)值的修正量Aw：2,輸出層閾值的修正量院，隱含層權(quán)值的修正量Awj1,隱含層閾值的修正量b.輸出層權(quán)值和閾值調(diào)整公式32I32323232 /Wij (m) z. jkyk(m)jk yk(m)Wj (m 1) = Wj (m) 陰(m)b2(m) - -、32bj(m 1)=bj(m) ：b：隱藏層權(quán)值和閾值調(diào)整公式21I21323232Aw。(m) = *Mkyk(m)=Mkyk(m)Wj (m + 1)=Wj (m)+Wj

19、(m)Abj(m) =6jk =-嶗bj(m+1) = bj(m)十 Ab：2.5 BP人工神經(jīng)網(wǎng)絡(luò)基本算法BP算法不僅有輸入層節(jié)點(diǎn)，輸出層節(jié)點(diǎn)，而且有一層或多層隱含節(jié)點(diǎn).對于輸入信息, 首先向前傳播到隱含層的節(jié)點(diǎn)上，經(jīng)過各單元的激活函數(shù)(又稱作用函數(shù)、轉(zhuǎn)換函數(shù))運(yùn) 算后，把隱含節(jié)點(diǎn)的輸出信息傳播到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果.網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳播兩部分組成.在正向傳播過程中，每一層的神經(jīng)元的狀態(tài)只影響下一層神經(jīng) 元網(wǎng)絡(luò).如果輸出層不能得到期望輸出，就是實(shí)際輸出值與期望輸出值之間有誤差，那么 轉(zhuǎn)向反向傳播過程，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐 次地向輸入層傳

20、播去進(jìn)行計(jì)算，再經(jīng)過正向傳播過程，這兩個(gè)過程的反復(fù)運(yùn)用，使得誤差 信號最小.實(shí)際上，誤差達(dá)到人們所希望的要求時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)過程就結(jié)束.BP算法是在導(dǎo)師指導(dǎo)下，適合于多層神經(jīng)元網(wǎng)絡(luò)的一種學(xué)習(xí)，它是建立在梯度下降法的基 礎(chǔ)上的.理論證明，含有一個(gè)隱含層的 BP網(wǎng)絡(luò)可以實(shí)現(xiàn)以任意精度近似任何連續(xù)非線性函 數(shù).具體步驟如下：第一步，數(shù)據(jù)歸一并進(jìn)行網(wǎng)絡(luò)初始化 根據(jù)系統(tǒng)輸入輸出序列(X,Y)確定網(wǎng)絡(luò)輸入層節(jié)點(diǎn)河北大學(xué)2014級研究生矩陣論論文數(shù)n,輸出層節(jié)點(diǎn)數(shù)1,輸入層輸出層的神經(jīng)元個(gè)數(shù)分別由函數(shù)輸入和輸出的維數(shù)確定.由實(shí)驗(yàn)經(jīng)驗(yàn)隱含層節(jié)點(diǎn)個(gè)數(shù)需要大于輸入層隱層節(jié)點(diǎn)數(shù)，設(shè)為m,初始化輸入層、隱層、輸出層之間的連接權(quán)值w；,w;,初始化隱層閾值bl ,輸出層閾值b2 ,給定學(xué)習(xí)速率n以及學(xué) 習(xí)誤差error ；訓(xùn)練次數(shù)maxEpoch,可以根據(jù)訓(xùn)練需要改動(dòng)；第二步，輸入樣本計(jì)算隱含層的輸出值Oi ,i =1,2,., m,計(jì)算公式為O = log sig(X