神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)課件

1、1Martin T.HaganHoward B. Demuth 著Mark H. Beale戴 葵等譯機(jī)械工業(yè)出版社2矩陣及線(xiàn)性空間線(xiàn)性變換線(xiàn)性代數(shù)神經(jīng)網(wǎng)路的數(shù)學(xué)基礎(chǔ)（一）3神經(jīng)網(wǎng)絡(luò)基礎(chǔ)（續(xù)）向量（矢量）的定義： 既有大小又有方向的量叫做向量。 向量的線(xiàn)性相關(guān)與線(xiàn)性無(wú)關(guān)： 如果有n個(gè)向量Pi ， 存在n個(gè)標(biāo)量ai ,當(dāng)且僅當(dāng)每個(gè)ai都等于0時(shí)，有：那么，稱(chēng)這n個(gè)向量Pi 線(xiàn)性無(wú)關(guān)；如果ai中至少有一個(gè)不等于0時(shí)稱(chēng)這n個(gè)向量Pi 線(xiàn)性相關(guān)。4神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))線(xiàn)性向量空間的定義： page 60 滿(mǎn)足12個(gè)條件 空間維數(shù)： 如果P 是一個(gè)線(xiàn)性空間， m個(gè)向量Pi構(gòu)成P的一個(gè)子集。稱(chēng)P是Pi的一個(gè)

2、張成，當(dāng)且僅當(dāng)對(duì)于任意一個(gè)XP,存在m個(gè)標(biāo)量ai,滿(mǎn)足：空間維數(shù)是由張成這一空間所需最少向量的個(gè)數(shù)，這些向量就構(gòu)成了空間的基。比如：平面空間的維數(shù)為二，P1=1,0T, P2=0,1T就可以作為它的基。5神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))向量的內(nèi)積定義： page 63 如果P 是一個(gè)n維線(xiàn)性空間， X,YP,且X=xi, Y=yi,則X,Y的內(nèi)積可表示為：向量的正交性：設(shè)P 是一個(gè)n維線(xiàn)性空間， X,YP,且X=xi, Y=yi,如果X,Y的內(nèi)積為0，則X,Y 正交。7神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))線(xiàn)性變換的定義： page 80 線(xiàn)性變換的矩陣表示：兩個(gè)有限維向量空間的任何線(xiàn)性變換都可以用一個(gè)矩陣來(lái)表示?，F(xiàn)證明如下：

3、證明：設(shè)v1,v2,vn是向量空間P的一個(gè)基， u1,u2,um是向量空間Q的一個(gè)基，如果XP，YQ，A是一個(gè)定義域?yàn)镻，值域?yàn)镼的線(xiàn)性變換，則有：8神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))A是一個(gè)線(xiàn)性變換，則有：A(vj)是值域Q中的一個(gè)元素，故可寫(xiě)成Q空間矢量基的線(xiàn)性組合，則有：交換求和號(hào)：10神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))相似變換：設(shè)t1,t2,tn是向量空間P的另外一個(gè)基， w1, w2,wm是向量空間Q的另外一個(gè)基，如果XP，YQ，那么在這兩個(gè)基下， XP，YQ 可表示為：11神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))相似變換：設(shè)t1,t2,tn是向量空間P的另外一個(gè)基， w1, w2,wm是向量空間Q的另外一個(gè)基，如果XP，YQ，假設(shè)A是

4、另一個(gè)定義域?yàn)镻，值域?yàn)镼的線(xiàn)性變換，則有：12神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))ti是P中的一個(gè)元素，故可寫(xiě)成P空間矢量基的線(xiàn)性組合，則有：wi是Q中的一個(gè)元素，故可寫(xiě)成Q空間矢量基的線(xiàn)性組合，則有：14神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))這就是相似變換，即一個(gè)給定相似變換對(duì)應(yīng)的任何兩個(gè)矩陣之間的關(guān)系。15性能優(yōu)化：求極值神經(jīng)網(wǎng)路的數(shù)學(xué)基礎(chǔ)（二）17優(yōu)化方法其中 定義為梯度，這是一個(gè)向量。定義為Hessian 矩陣 。18神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))強(qiáng)極小點(diǎn)： 如果存在某個(gè)純0，使得當(dāng)0|X| 時(shí)，對(duì)所有X 都有F(X*) F(X*+ X)成立，則稱(chēng)X*是F(X)的一個(gè)強(qiáng)極小點(diǎn)。換句話(huà)說(shuō)：在一定的范圍內(nèi)，從一個(gè)強(qiáng)極小點(diǎn)出發(fā)沿任意方向移

5、動(dòng)任意小的距離都將使F(X)增大。因此強(qiáng)極小點(diǎn)又稱(chēng)為局部極小點(diǎn)。弱極小點(diǎn)： 如果存在某個(gè)純0，使得當(dāng)0|X| 時(shí)，對(duì)所有X 都有F(X*) F(X*+ X)成立，則稱(chēng)X*是F(X)的一個(gè)強(qiáng)極小點(diǎn)。換句話(huà)說(shuō)：在一定的范圍內(nèi)，從一個(gè)強(qiáng)極小點(diǎn)出發(fā)沿任意方向移動(dòng)任意小的距離都將使F(X)增大或保持不變。19神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))全局極小點(diǎn)：對(duì)所有X0 都有F(X*) F(X*+ X)成立，則稱(chēng)X*是F(X)的全局極小點(diǎn)。換句話(huà)說(shuō)：從一個(gè)全局極小點(diǎn)出發(fā)沿任意方向移動(dòng)任意小的距離都將使F(X)增大。極大點(diǎn)： 在上述的極小點(diǎn)的描述中，將F(X*) F(X*+ X)改寫(xiě)成F(X*)F(X*+ X)就可以得到極大點(diǎn)

6、的有關(guān)定義。20神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))求極值點(diǎn)的方法： 假設(shè)多元目標(biāo)函數(shù)仍為F(X)，在X*處的梯度和Hessian矩陣為 F(X)， 2 F(X)，則X*為強(qiáng)極小點(diǎn)的必要條件為：X*為強(qiáng)極小點(diǎn)的充分條件為： 2 F(X)為半正定矩陣。半正定矩陣的判別方法： 對(duì)任意的Z0矢量有21神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))優(yōu)化方法： 假設(shè)多元目標(biāo)函數(shù)仍為F(X)，我們的目的是求出使F(X)最小的X。這就是所謂的優(yōu)化。一般情況下，給定一個(gè)初始猜測(cè)值X0，按照下式進(jìn)行迭代尋優(yōu)。其中k為學(xué)習(xí)步長(zhǎng)，Pk為代表某一搜索方向。所以，在這里我們有必要研究一下方向?qū)?shù)。22神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))方向?qū)?shù)： 假設(shè)P是一個(gè)向量， F(X)是多元目標(biāo)函數(shù)，則沿P的一階方向?qū)?shù)定義為： P是一個(gè)向量， F(X) 也是一個(gè)向量。PTF(X)實(shí)際上是P和F(X)的內(nèi)積。如果一階方向?qū)?shù)為零，表明P和F(X)垂直，對(duì)應(yīng)的方向?qū)?shù)最小。所以，當(dāng)P和F(X)同向時(shí)，對(duì)應(yīng)的方向?qū)?shù)最大 。沿P二次階方向?qū)?shù)：24神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))滿(mǎn)足上式的任意一個(gè)