數(shù)學(xué)建模神經(jīng)網(wǎng)絡(luò)

1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介(2) 多層網(wǎng)絡(luò) input layer hidden layer(s) output layer 多層前饋網(wǎng)絡(luò)的決策區(qū)域 n如圖可見，多層網(wǎng)絡(luò)能夠表示高度非線性決策 面，比之前的單個(gè)單元的線性決策面表征能力 更強(qiáng)。 n問題：使用什么類型的的 單元來構(gòu)建多層網(wǎng) 絡(luò)的基礎(chǔ)？如果使用之前介紹的線性單元，多 個(gè)線性單元的連接仍然是線性單元，而我們更 希望表征非線性函數(shù)的網(wǎng)絡(luò)。 sigmoid 單元 x1 x2 xn . . . w1 w2 wn w0 x0=1 z=i=0n wi xi o o=(z)=1/(1+e-z) (z) =1/(1+e-z) sigmoid function.

2、sigmoid 函數(shù)（logistic函數(shù)） (z) =1/(1+e-z) d(z)/dz= (z) (1- (z) 梯度下降規(guī)則: 線性單元 e/wi = -d(td-od) od (1-od) xi 多層網(wǎng)絡(luò): 反向傳播算法 反向傳播算法 n多層網(wǎng)絡(luò)的學(xué)習(xí)算法。 n反向傳播的含義是通過對(duì)誤差在神經(jīng)網(wǎng)絡(luò)中的 反向傳播，調(diào)整各個(gè)節(jié)點(diǎn)的權(quán)重，使得誤差局 部最小 反向傳播算法（隨機(jī)梯度下降） n步驟： n初始化權(quán)重為小的隨機(jī)數(shù)。 n對(duì)于訓(xùn)練集中的每一個(gè)樣本： n1. 計(jì)算此樣本在神經(jīng)網(wǎng)絡(luò)中的輸出 n2. 對(duì)于每一個(gè)輸出節(jié)點(diǎn)k，計(jì)算： n3. 對(duì)于每一個(gè)隱藏節(jié)點(diǎn)h，計(jì)算： n4. 更新權(quán)重： n其中

3、： 反向傳播算法的推導(dǎo) n梯度下降的權(quán)值修改法則 n求導(dǎo)的鏈?zhǔn)椒▌t ji, d ij w e ki, k k k kki, w z z o o e = w e 反向傳播算法（輸出節(jié)點(diǎn)） ki k k k kki w z z o o e w e , )()( 2 1 )( 2 1 2 2 kkkk k outputj jj kk otot o ot oo e 反向傳播算法（輸出節(jié)點(diǎn)） )1 ( )( kk k k k k oo z z z o )(1 ( kkkk k otoo z e kj k kjkj, kj, k x= z xw = w z , , 反向傳播算法（隱藏節(jié)點(diǎn)） h (h)do

4、wnstreamk h h h k kh = z o o z z e = z e k k z e kh h k w o z , 反向傳播算法（內(nèi)部節(jié)點(diǎn)） hjh hj, x= w e , )1 ( hh h h oo z o (h)downstreamk kh,khhh w)o(o=1 收斂性與局部最小值 n對(duì)于多層網(wǎng)絡(luò)，誤差曲面可能含有多個(gè)不同的 局部極小值，梯度下降可能陷入這些局部極小 值的任何一個(gè)。因此，對(duì)于多層網(wǎng)絡(luò)，反向傳 播算法僅能保證收斂到誤差e的某個(gè)局部極小 值，不一定收斂到全局最小誤差。 緩解局部極小值問題一些常見的啟發(fā) 規(guī)則 n為梯度更新法則加一個(gè)沖量項(xiàng)。沖量有時(shí)可以帶動(dòng) 梯度下降過程沖過狹窄的局部極小值或滾過誤差曲 面上的平坦區(qū)域 n使用隨機(jī)的梯度下降而不是真正的梯度下降。不同 誤差曲面通常會(huì)有不同的局部極小值，這使得下降 過程不太可能陷入任意一個(gè)局部極小值 ) 1()(nxn ijijjij n使用多個(gè)同樣的數(shù)據(jù)訓(xùn)練多個(gè)網(wǎng)絡(luò)，但用不同 的隨機(jī)權(quán)值初始化每個(gè)網(wǎng)絡(luò)。如果不同的訓(xùn)練 產(chǎn)生不同的局部極小值，那么對(duì)分離的驗(yàn)證集 合性能最好的那個(gè)網(wǎng)絡(luò)被選中。或者保留所有 的網(wǎng)絡(luò)，并且把它們當(dāng)作一個(gè)網(wǎng)絡(luò)“委員會(huì)”， 它們的輸出是每個(gè)網(wǎng)絡(luò)輸出的平均值。 前饋網(wǎng)絡(luò)的表征能力 n布爾函數(shù)：任何布爾函數(shù)可以被具有兩層單元