人工神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)算法第一頁，共二十頁，編輯于2023年，星期六神經(jīng)網(wǎng)絡(luò)幾乎與AI同時起步，但30余年來卻并未取得人工智能那樣巨大的成功，中間經(jīng)歷了一段長時間的蕭條。直到80年代，獲得了關(guān)于人工神經(jīng)網(wǎng)絡(luò)切實可行的算法，以及以VonNeumann體系為依托的傳統(tǒng)算法在知識處理方面日益顯露出其力不從心后，人們才重新對人工神經(jīng)網(wǎng)絡(luò)發(fā)生了興趣，才是神經(jīng)網(wǎng)絡(luò)理論得到復(fù)興。第二頁，共二十頁，編輯于2023年，星期六到目前為止，已經(jīng)出現(xiàn)許多神經(jīng)網(wǎng)絡(luò)模型及相應(yīng)的學(xué)習(xí)算法。其中誤差逆?zhèn)鞑ィ‥rrorBack-propagation）算法（簡稱BP算法）是一種較常用的算法。人工神經(jīng)網(wǎng)絡(luò)可用于對物群的目標擬合、模式分類和預(yù)測。第三頁，共二十頁，編輯于2023年，星期六神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)——神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和基本原理基本上是以人腦的組織結(jié)構(gòu)和活動規(guī)律為背景，它反映料人腦的某些基本特征，是人腦的某些抽象、簡化或模仿。神經(jīng)網(wǎng)絡(luò)有許多并行運算的功能簡單的單元組成，每個神經(jīng)元有一個輸出，它可以連接到許多其它神經(jīng)元，每個神經(jīng)元輸入有多個連接通路，每個連接通路對應(yīng)一個連接權(quán)系數(shù)。第四頁，共二十頁，編輯于2023年，星期六第五頁，共二十頁，編輯于2023年，星期六X1

X2

Xn

y1y2ym輸入層節(jié)點隱層節(jié)點輸出層節(jié)點第六頁，共二十頁，編輯于2023年，星期六這個算法的學(xué)習(xí)過程，由正向傳播和反相傳播組成，在正向傳播過程中，輸入信息從輸入層經(jīng)隱單元層逐層處理，并傳向輸入層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望得輸出，則轉(zhuǎn)入反向傳播，將誤差信號沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號減小，然后再轉(zhuǎn)入正向傳播過程，反復(fù)迭代，直到誤差小于給定的值為止。第七頁，共二十頁，編輯于2023年，星期六

BP網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成：輸入模式順傳播、輸出誤差逆?zhèn)鞑?、循環(huán)記憶訓(xùn)練、學(xué)習(xí)結(jié)果判別。第八頁，共二十頁，編輯于2023年，星期六（1）輸入模式順傳播根據(jù)神經(jīng)元模型原理，計算中間層各神經(jīng)元的激活值：（j=1，2，…p）式中：wij--輸入層至中間層連接權(quán)；--中間層單元閥值；P—中間層單元數(shù)。第九頁，共二十頁，編輯于2023年，星期六激活函數(shù)采用S型函數(shù)，即這里之所以選S型函數(shù)作為BP神經(jīng)元網(wǎng)絡(luò)的激活函數(shù)是因為它是連續(xù)可微分的，而且更接近于生物神經(jīng)元的信號輸入形式。第十頁，共二十頁，編輯于2023年，星期六閥值在學(xué)習(xí)過程中和權(quán)值一樣也不斷的被修正。同理可求出輸出端的激活值和輸出值。設(shè)輸出層第t個單元的激活值為則設(shè)輸出層第t個單元的實際輸出值為則（t=1,2,…,q）第十一頁，共二十頁，編輯于2023年，星期六(2)輸出誤差的逆?zhèn)鞑ピ诘谝徊降哪Ｊ巾槀鞑ビ嬎阒形覀兊玫搅司W(wǎng)絡(luò)的實際輸出值，當(dāng)這些實際輸出值與希望的輸出值不一樣時或其誤差大于所限定的數(shù)值時，就要對網(wǎng)絡(luò)進行校正。這里的校正是從后向前進行的，所以叫做誤差逆?zhèn)鞑?，計算時是從輸出層到中間層，再從中間層到輸入層。第十二頁，共二十頁，編輯于2023年，星期六

（3）循環(huán)記憶訓(xùn)練

為使網(wǎng)絡(luò)的輸出誤差趨于極小值。對于BP網(wǎng)輸入的每一組訓(xùn)練模式，一般要經(jīng)過數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。這種循環(huán)記憶訓(xùn)練實際上就是反復(fù)重復(fù)上面介紹的輸入模式順傳播和輸出誤差逆?zhèn)鞑ミ^程，使網(wǎng)絡(luò)記住訓(xùn)練過程中權(quán)值的變化。第十三頁，共二十頁，編輯于2023年，星期六（4）學(xué)習(xí)結(jié)果的判別

第十四頁，共二十頁，編輯于2023年，星期六開始連接權(quán)及閥值初始化學(xué)習(xí)模式對提供給網(wǎng)絡(luò)計算中間層各單元的輸入、輸出計算輸出層各單元的輸入、輸出計算輸出層各單元校正誤差計算中間層各單元的校正誤差調(diào)整中間層至輸出層之間的連接權(quán)及輸出層各單元的輸出閥值調(diào)整輸入層至中間層之間的連接權(quán)及中間層各單元的輸出閥值誤差<∈或?qū)W習(xí)次數(shù)>n學(xué)習(xí)結(jié)束是否第十五頁，共二十頁，編輯于2023年，星期六BP算法存在的缺陷BP模型把一組樣本的I/O問題變?yōu)橐粋€非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法，用迭代運算求解權(quán)相應(yīng)于學(xué)習(xí)記憶問題，加入隱節(jié)點使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。神經(jīng)網(wǎng)絡(luò)是一種映射表示方法，它是對簡單的非線性函數(shù)進行復(fù)合，經(jīng)過少數(shù)復(fù)合后，則可實現(xiàn)復(fù)雜的函數(shù)，這對數(shù)學(xué)映射方法有著重要的啟事。但正因為它采用的的是非線性規(guī)劃中的最速下降法，按誤差的負梯度方向修改權(quán)值，因而通常存在著一些問題。第十六頁，共二十頁，編輯于2023年，星期六1．由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度較慢，需要較長的收斂時間。這主要是由于學(xué)習(xí)速率太小造成的可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進。2．由于是一個非線性優(yōu)化問題，則不可避免地存在有局部極小的問題。通常，在BP算法中，隨機設(shè)置初始權(quán)值時，網(wǎng)絡(luò)的訓(xùn)練一般較難達到全局最優(yōu)。3．網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗或者是通過反復(fù)實驗來確定。因此網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負擔(dān)。4．網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從