有監(jiān)督和BP神經(jīng)網(wǎng)絡(luò)

有監(jiān)督和BP神經(jīng)網(wǎng)絡(luò)第1頁/共16頁ai1ai2ainbi1bi2bimwiy1y2ynu1ukum1vixiyi●神經(jīng)元網(wǎng)絡(luò)的一般模型框架1）加法器2）線性動態(tài)系統(tǒng)（SISO）3）靜態(tài)非線性系統(tǒng)︰︰第2頁/共16頁式中aij和bik為權(quán)系數(shù)，i,j=1,2,…,n,k=1,2,…m.n個加法器可以寫成向量形式：——N維列向量——N維列向量（單元輸出）——N×N維矩陣——N×M維矩陣——M維列向量（外部輸入）——M維常向量第3頁/共16頁▲線性動態(tài)系統(tǒng)典型的有：▲靜態(tài)非線性系統(tǒng)典型的有：g(x)g(x)g(x)xxx閾值函數(shù)閾值函數(shù)Sigmoid函數(shù)第4頁/共16頁∑∑（雙極型）Sigmoidu1uiiu1uiiyiyiAdline(自適應(yīng)線性網(wǎng)）單層感知器(Perceptron)▲不同的部件可以組成不同的網(wǎng)絡(luò)︰︰第5頁/共16頁Kuiyjyi離散Hopfield網(wǎng)y1y2y3y4u1u2u3u4第6頁/共16頁yjyiuixi連續(xù)的Hopfield網(wǎng)●按學(xué)習(xí)的方法神經(jīng)元網(wǎng)絡(luò)可分成二類：1）有監(jiān)督的學(xué)習(xí)網(wǎng)絡(luò)：感知器誤差反傳網(wǎng)絡(luò)（BP）

小腦模型連接控制器（CMAC）

模塊（組合）網(wǎng)絡(luò)增強學(xué)習(xí)網(wǎng)絡(luò)第7頁/共16頁●有監(jiān)督的神經(jīng)網(wǎng)絡(luò)1）感知器網(wǎng)絡(luò)感知器是前饋(正向傳輸)網(wǎng)絡(luò),所有節(jié)點都是線性的.●●●●●●●●●●●●x1x2xnb1b2bm權(quán)向量W2）無監(jiān)督學(xué)習(xí)網(wǎng)絡(luò)競爭學(xué)習(xí)和Kohonen網(wǎng)絡(luò)

Hopfield網(wǎng)絡(luò)雙向聯(lián)想存貯器（BAM）Boltzman機第8頁/共16頁輸入與輸出的關(guān)系：權(quán)矩陣可以按下式求解：學(xué)習(xí)規(guī)則：代表輸入與輸出的差別。是學(xué)習(xí)因子這學(xué)習(xí)規(guī)則即是著名的學(xué)習(xí)規(guī)則。隨著學(xué)習(xí)迭代次數(shù)k的增加，保證網(wǎng)絡(luò)的收斂。●反傳（BP）網(wǎng)絡(luò)誤差反傳（學(xué)習(xí)算法）（BP）網(wǎng)絡(luò)與感知器的主要差別在于：（BP）網(wǎng)絡(luò)的節(jié)點是非線性的。采用廣義

學(xué)習(xí)規(guī)則。第9頁/共16頁●反傳（BP）網(wǎng)絡(luò)的結(jié)構(gòu)圖一個輸入層，一個輸出層，多個隱層。jpp1xp1xpntpk

tpmOp1OpnOp2隱層wj1wjn輸入層隱層輸出層信息流······pm第10頁/共16頁隱層節(jié)點j輸出和輸入節(jié)點p的關(guān)系：輸出節(jié)點k和隱層輸出節(jié)點p的關(guān)系：學(xué)習(xí)過程：定義輸出誤差第11頁/共16頁學(xué)習(xí)的目的是要使以下定義的誤差平方和最?。阂虼耍笠韵碌钠珜?dǎo)，最后得到二個權(quán)值改變的重要公式：第12頁/共16頁初始化加輸入和期望輸出計算隱層和輸出層的輸出迭代次數(shù)加1調(diào)節(jié)輸出層和隱層的連接權(quán)值改變訓(xùn)練樣板訓(xùn)練樣終止？迭代終止？BP算法的基本流程NoNoyy第13頁/共16頁重要結(jié)論

具有至少一個隱層的多層前饋網(wǎng)絡(luò)，如果隱層單元足夠多，那么，利用扁平激勵函數(shù)和線性多項式集成函數(shù)，可以對任意感興趣的函數(shù)逼成到任意精度。扁平激勵函數(shù)定義：f:R[0,1]或[-1,1]是非減函數(shù),

扁平激勵函數(shù)的參數(shù).理論證明:多層前饋網(wǎng)絡(luò)是一種通用逼近器

第14頁/共16頁討論隱層的數(shù)目和節(jié)點的數(shù)目,何謂合適?是否收斂到