哈工大模式識(shí)別—多層神經(jīng)網(wǎng)絡(luò)

1、1會(huì)計(jì)學(xué)哈工大模式識(shí)別哈工大模式識(shí)別多層神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)1,dti iiyffwxwxf稱為激活稱為激活函數(shù)函數(shù)第1頁/共51頁 輸入層輸入層 隱含層隱含層 輸出層輸出層第2頁/共51頁第3頁/共51頁 1,01,0 xf xx第4頁/共51頁 f xx第5頁/共51頁 11xf xe第6頁/共51頁 tanh( )xxxxeef xxee第7頁/共51頁第8頁/共51頁第9頁/共51頁 210011Hndkkjji ijkjigfwfwx wwx第第k個(gè)輸出層神經(jīng)元的輸出，其個(gè)輸出層神經(jīng)元的輸出，其中中d為特征維數(shù)，為特征維數(shù)，nH為隱層節(jié)為隱層節(jié)點(diǎn)數(shù)。點(diǎn)數(shù)。第10頁/共51頁 2211

2、122ciiiJt zwt-z 1Jmmmm wwwww迭代公式：迭代公式：第11頁/共51頁kkjkkjnetJJwnetw1,Hnkki iinetwykjkjnetyw kkkkkkkzJJtz f netnetz net kkkjkjkjJtz f net yyw kkkktz f net第12頁/共51頁jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第13頁/共51頁21112cckkkkkkkjjjzJtztzyyy 11cckkkkkkkkjkkkjznettztz f net wnety 1ckkkkjjik

3、jiJtz f net w f net xw1cjjkkjkf netw,j ijiJxw第14頁/共51頁,k jkjJyw kkkkt z f net ,j ijiJxw1cjjkkjkf netw第15頁/共51頁第16頁/共51頁11.end第17頁/共51頁11d wd 111bpmmmm wwww第18頁/共51頁第19頁/共51頁第20頁/共51頁第21頁/共51頁第22頁/共51頁第23頁/共51頁 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目標(biāo)函數(shù)增量：目標(biāo)函數(shù)增量：使目標(biāo)函數(shù)下降最大：使目標(biāo)函數(shù)下降最大：第24頁/共51頁

4、 12kttkkkkJJ wwwwwwHww 0kkkkd JJd w wwwHwww 1kkJw wwwHwH是是Hessian矩陣，求取目標(biāo)函數(shù)增量的矩陣，求取目標(biāo)函數(shù)增量的極大值：極大值：第25頁/共51頁 11mmmdJdww mw mdJdJdwdw 第26頁/共51頁0tH l 對(duì)于二次優(yōu)化函數(shù)對(duì)于二次優(yōu)化函數(shù)，權(quán)值沿著任意一，權(quán)值沿著任意一個(gè)初始方向移動(dòng)到個(gè)初始方向移動(dòng)到最小點(diǎn)，然后再沿最小點(diǎn)，然后再沿著該方向關(guān)于著該方向關(guān)于H的的共軛方向移動(dòng)到最共軛方向移動(dòng)到最小點(diǎn)即可達(dá)到全局小點(diǎn)即可達(dá)到全局最小點(diǎn)。最小點(diǎn)。第27頁/共51頁 1mmJmm www3.如算法未收斂，則繼續(xù)在共軛

5、方向上如算法未收斂，則繼續(xù)在共軛方向上計(jì)算下一個(gè)搜索方向。計(jì)算下一個(gè)搜索方向。 111tmtJmJmJmJmJm wwwww第28頁/共51頁 vw t-z 1ttkkkkkkwJ w J wIJ w v w 111122221212nnNNNnvvvwwwvvvwwwvvvwwwwwwwwwJ wwww權(quán)值增量：權(quán)值增量：其中其中I為單位矩陣，為單位矩陣，k k為參數(shù)，為參數(shù)，J J為為JacobiJacobi矩陣：矩陣：第29頁/共51頁第30頁/共51頁 expPEEkT其中其中T是固體的溫度，是固體的溫度，k為為Boltzmann常數(shù)常數(shù)第31頁/共51頁第32頁/共51頁 2expP

6、Ew T第33頁/共51頁第34頁/共51頁Ew第35頁/共51頁第36頁/共51頁第37頁/共51頁第38頁/共51頁第39頁/共51頁g = w11,w12, w13; w21,w22, w23; w31,w32, w33第40頁/共51頁, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;, ,33333a r b s c t d ui

7、z22222,;, ,33333r a s b t c u bz i第41頁/共51頁 , , ; , , ; , ,;, ,abcd e f ghiaabbccddii 第42頁/共51頁1,dti iiyffwxwxf稱為激活稱為激活函數(shù)函數(shù)第43頁/共51頁 tanh( )xxxxeef xxee第44頁/共51頁jjjijjjiynetJJwy net w jjjyf netnet1djjm mimjijinetw xxww 第45頁/共51頁第46頁/共51頁第47頁/共51頁 1ktkkkkkJJJJwwwwwwwww ktkJ wwwww 0ktkkJJw wwwww目標(biāo)函數(shù)增量：目標(biāo)函數(shù)增量：使目標(biāo)函數(shù)下降最大：使目標(biāo)函數(shù)下降最大：第48頁/共51頁, , ; , , ; , ,abcde f ghi, ,; , , ; , ,rstuvwxyz, ,; , , ; , ,rstde f ghi, , ; , , ; , ,abcuvwxyz, , ; , , ; , ,abcdef ghi, ,; , , ; , ,rstuvwxyz22222,;