神經(jīng)網(wǎng)絡(luò)的數(shù)學基礎(chǔ)課件

1、1Martin T.HaganHoward B. Demuth 著Mark H. Beale戴 葵等譯機械工業(yè)出版社2矩陣及線性空間線性變換線性代數(shù)神經(jīng)網(wǎng)路的數(shù)學基礎(chǔ)（一）3神經(jīng)網(wǎng)絡(luò)基礎(chǔ)（續(xù)）向量（矢量）的定義： 既有大小又有方向的量叫做向量。 向量的線性相關(guān)與線性無關(guān)： 如果有n個向量Pi ， 存在n個標量ai ,當且僅當每個ai都等于0時，有：那么，稱這n個向量Pi 線性無關(guān)；如果ai中至少有一個不等于0時稱這n個向量Pi 線性相關(guān)。4神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))線性向量空間的定義： page 60 滿足12個條件 空間維數(shù)： 如果P 是一個線性空間， m個向量Pi構(gòu)成P的一個子集。稱P是Pi的一個

2、張成，當且僅當對于任意一個XP,存在m個標量ai,滿足：空間維數(shù)是由張成這一空間所需最少向量的個數(shù)，這些向量就構(gòu)成了空間的基。比如：平面空間的維數(shù)為二，P1=1,0T, P2=0,1T就可以作為它的基。5神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))向量的內(nèi)積定義： page 63 如果P 是一個n維線性空間， X,YP,且X=xi, Y=yi,則X,Y的內(nèi)積可表示為：向量的正交性：設(shè)P 是一個n維線性空間， X,YP,且X=xi, Y=yi,如果X,Y的內(nèi)積為0，則X,Y 正交。7神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))線性變換的定義： page 80 線性變換的矩陣表示：兩個有限維向量空間的任何線性變換都可以用一個矩陣來表示?，F(xiàn)證明如下：

3、證明：設(shè)v1,v2,vn是向量空間P的一個基， u1,u2,um是向量空間Q的一個基，如果XP，YQ，A是一個定義域為P，值域為Q的線性變換，則有：8神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))A是一個線性變換，則有：A(vj)是值域Q中的一個元素，故可寫成Q空間矢量基的線性組合，則有：交換求和號：10神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))相似變換：設(shè)t1,t2,tn是向量空間P的另外一個基， w1, w2,wm是向量空間Q的另外一個基，如果XP，YQ，那么在這兩個基下， XP，YQ 可表示為：11神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))相似變換：設(shè)t1,t2,tn是向量空間P的另外一個基， w1, w2,wm是向量空間Q的另外一個基，如果XP，YQ，假設(shè)A是

4、另一個定義域為P，值域為Q的線性變換，則有：12神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))ti是P中的一個元素，故可寫成P空間矢量基的線性組合，則有：wi是Q中的一個元素，故可寫成Q空間矢量基的線性組合，則有：14神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))這就是相似變換，即一個給定相似變換對應(yīng)的任何兩個矩陣之間的關(guān)系。15性能優(yōu)化：求極值神經(jīng)網(wǎng)路的數(shù)學基礎(chǔ)（二）17優(yōu)化方法其中 定義為梯度，這是一個向量。定義為Hessian 矩陣 。18神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))強極小點： 如果存在某個純0，使得當0|X| 時，對所有X 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的一個強極小點。換句話說：在一定的范圍內(nèi)，從一個強極小點出發(fā)沿任意方向移

5、動任意小的距離都將使F(X)增大。因此強極小點又稱為局部極小點。弱極小點： 如果存在某個純0，使得當0|X| 時，對所有X 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的一個強極小點。換句話說：在一定的范圍內(nèi)，從一個強極小點出發(fā)沿任意方向移動任意小的距離都將使F(X)增大或保持不變。19神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))全局極小點：對所有X0 都有F(X*) F(X*+ X)成立，則稱X*是F(X)的全局極小點。換句話說：從一個全局極小點出發(fā)沿任意方向移動任意小的距離都將使F(X)增大。極大點： 在上述的極小點的描述中，將F(X*) F(X*+ X)改寫成F(X*)F(X*+ X)就可以得到極大點

6、的有關(guān)定義。20神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))求極值點的方法： 假設(shè)多元目標函數(shù)仍為F(X)，在X*處的梯度和Hessian矩陣為 F(X)， 2 F(X)，則X*為強極小點的必要條件為：X*為強極小點的充分條件為： 2 F(X)為半正定矩陣。半正定矩陣的判別方法： 對任意的Z0矢量有21神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))優(yōu)化方法： 假設(shè)多元目標函數(shù)仍為F(X)，我們的目的是求出使F(X)最小的X。這就是所謂的優(yōu)化。一般情況下，給定一個初始猜測值X0，按照下式進行迭代尋優(yōu)。其中k為學習步長，Pk為代表某一搜索方向。所以，在這里我們有必要研究一下方向?qū)?shù)。22神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))方向?qū)?shù)： 假設(shè)P是一個向量， F(X)是多元目標函數(shù)，則沿P的一階方向?qū)?shù)定義為： P是一個向量， F(X) 也是一個向量。PTF(X)實際上是P和F(X)的內(nèi)積。如果一階方向?qū)?shù)為零，表明P和F(X)垂直，對應(yīng)的方向?qū)?shù)最小。所以，當P和F(X)同向時，對應(yīng)的方向?qū)?shù)最大 。沿P二次階方向?qū)?shù)：24神經(jīng)網(wǎng)絡(luò)基礎(chǔ)(續(xù))滿足上式的任意一個