人工神經(jīng)網(wǎng)絡(luò)算法

人工神經(jīng)網(wǎng)絡(luò)算法第1頁，課件共20頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)幾乎與AI同時(shí)起步，但30余年來卻并未取得人工智能那樣巨大的成功，中間經(jīng)歷了一段長(zhǎng)時(shí)間的蕭條。直到80年代，獲得了關(guān)于人工神經(jīng)網(wǎng)絡(luò)切實(shí)可行的算法，以及以VonNeumann體系為依托的傳統(tǒng)算法在知識(shí)處理方面日益顯露出其力不從心后，人們才重新對(duì)人工神經(jīng)網(wǎng)絡(luò)發(fā)生了興趣，才是神經(jīng)網(wǎng)絡(luò)理論得到復(fù)興。第2頁，課件共20頁，創(chuàng)作于2023年2月到目前為止，已經(jīng)出現(xiàn)許多神經(jīng)網(wǎng)絡(luò)模型及相應(yīng)的學(xué)習(xí)算法。其中誤差逆?zhèn)鞑ィ‥rrorBack-propagation）算法（簡(jiǎn)稱BP算法）是一種較常用的算法。人工神經(jīng)網(wǎng)絡(luò)可用于對(duì)物群的目標(biāo)擬合、模式分類和預(yù)測(cè)。第3頁，課件共20頁，創(chuàng)作于2023年2月神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)——神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和基本原理基本上是以人腦的組織結(jié)構(gòu)和活動(dòng)規(guī)律為背景，它反映料人腦的某些基本特征，是人腦的某些抽象、簡(jiǎn)化或模仿。神經(jīng)網(wǎng)絡(luò)有許多并行運(yùn)算的功能簡(jiǎn)單的單元組成，每個(gè)神經(jīng)元有一個(gè)輸出，它可以連接到許多其它神經(jīng)元，每個(gè)神經(jīng)元輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。第4頁，課件共20頁，創(chuàng)作于2023年2月第5頁，課件共20頁，創(chuàng)作于2023年2月X1

X2

Xn

y1y2ym輸入層節(jié)點(diǎn)隱層節(jié)點(diǎn)輸出層節(jié)點(diǎn)第6頁，課件共20頁，創(chuàng)作于2023年2月這個(gè)算法的學(xué)習(xí)過程，由正向傳播和反相傳播組成，在正向傳播過程中，輸入信息從輸入層經(jīng)隱單元層逐層處理，并傳向輸入層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望得輸出，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號(hào)減小，然后再轉(zhuǎn)入正向傳播過程，反復(fù)迭代，直到誤差小于給定的值為止。第7頁，課件共20頁，創(chuàng)作于2023年2月

BP網(wǎng)絡(luò)的學(xué)習(xí)過程主要由四部分組成：輸入模式順傳播、輸出誤差逆?zhèn)鞑ァ⒀h(huán)記憶訓(xùn)練、學(xué)習(xí)結(jié)果判別。第8頁，課件共20頁，創(chuàng)作于2023年2月（1）輸入模式順傳播根據(jù)神經(jīng)元模型原理，計(jì)算中間層各神經(jīng)元的激活值：（j=1，2，…p）式中：wij--輸入層至中間層連接權(quán)；--中間層單元閥值；P—中間層單元數(shù)。第9頁，課件共20頁，創(chuàng)作于2023年2月激活函數(shù)采用S型函數(shù)，即這里之所以選S型函數(shù)作為BP神經(jīng)元網(wǎng)絡(luò)的激活函數(shù)是因?yàn)樗沁B續(xù)可微分的，而且更接近于生物神經(jīng)元的信號(hào)輸入形式。第10頁，課件共20頁，創(chuàng)作于2023年2月閥值在學(xué)習(xí)過程中和權(quán)值一樣也不斷的被修正。同理可求出輸出端的激活值和輸出值。設(shè)輸出層第t個(gè)單元的激活值為則設(shè)輸出層第t個(gè)單元的實(shí)際輸出值為則（t=1,2,…,q）第11頁，課件共20頁，創(chuàng)作于2023年2月(2)輸出誤差的逆?zhèn)鞑ピ诘谝徊降哪Ｊ巾槀鞑ビ?jì)算中我們得到了網(wǎng)絡(luò)的實(shí)際輸出值，當(dāng)這些實(shí)際輸出值與希望的輸出值不一樣時(shí)或其誤差大于所限定的數(shù)值時(shí)，就要對(duì)網(wǎng)絡(luò)進(jìn)行校正。這里的校正是從后向前進(jìn)行的，所以叫做誤差逆?zhèn)鞑?，?jì)算時(shí)是從輸出層到中間層，再?gòu)闹虚g層到輸入層。第12頁，課件共20頁，創(chuàng)作于2023年2月

（3）循環(huán)記憶訓(xùn)練

為使網(wǎng)絡(luò)的輸出誤差趨于極小值。對(duì)于BP網(wǎng)輸入的每一組訓(xùn)練模式，一般要經(jīng)過數(shù)百次甚至上萬次的循環(huán)記憶訓(xùn)練，才能使網(wǎng)絡(luò)記住這一模式。這種循環(huán)記憶訓(xùn)練實(shí)際上就是反復(fù)重復(fù)上面介紹的輸入模式順傳播和輸出誤差逆?zhèn)鞑ミ^程，使網(wǎng)絡(luò)記住訓(xùn)練過程中權(quán)值的變化。第13頁，課件共20頁，創(chuàng)作于2023年2月（4）學(xué)習(xí)結(jié)果的判別

第14頁，課件共20頁，創(chuàng)作于2023年2月開始連接權(quán)及閥值初始化學(xué)習(xí)模式對(duì)提供給網(wǎng)絡(luò)計(jì)算中間層各單元的輸入、輸出計(jì)算輸出層各單元的輸入、輸出計(jì)算輸出層各單元校正誤差計(jì)算中間層各單元的校正誤差調(diào)整中間層至輸出層之間的連接權(quán)及輸出層各單元的輸出閥值調(diào)整輸入層至中間層之間的連接權(quán)及中間層各單元的輸出閥值誤差<∈或?qū)W習(xí)次數(shù)>n學(xué)習(xí)結(jié)束是否第15頁，課件共20頁，創(chuàng)作于2023年2月BP算法存在的缺陷BP模型把一組樣本的I/O問題變?yōu)橐粋€(gè)非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法，用迭代運(yùn)算求解權(quán)相應(yīng)于學(xué)習(xí)記憶問題，加入隱節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。神經(jīng)網(wǎng)絡(luò)是一種映射表示方法，它是對(duì)簡(jiǎn)單的非線性函數(shù)進(jìn)行復(fù)合，經(jīng)過少數(shù)復(fù)合后，則可實(shí)現(xiàn)復(fù)雜的函數(shù)，這對(duì)數(shù)學(xué)映射方法有著重要的啟事。但正因?yàn)樗捎玫牡氖欠蔷€性規(guī)劃中的最速下降法，按誤差的負(fù)梯度方向修改權(quán)值，因而通常存在著一些問題。第16頁，課件共20頁，創(chuàng)作于2023年2月1．由于學(xué)習(xí)速率是固定的，因此網(wǎng)絡(luò)的收斂速度較慢，需要較長(zhǎng)的收斂時(shí)間。這主要是由于學(xué)習(xí)速率太小造成的可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率加以改進(jìn)。2．由于是一個(gè)非線性優(yōu)化問題，則不可避免地存在有局部極小的問題。通常，在BP算法中，隨機(jī)設(shè)置初始權(quán)值時(shí)，網(wǎng)絡(luò)的訓(xùn)練一般較難達(dá)到全局最優(yōu)。3．網(wǎng)絡(luò)隱含層的層數(shù)和單元數(shù)的選擇尚無理論上的指導(dǎo)，一般是根據(jù)經(jīng)驗(yàn)或者是通過反復(fù)實(shí)驗(yàn)來確定。因此網(wǎng)絡(luò)往往存在很大的冗余性，在一定程度上也增加了網(wǎng)絡(luò)學(xué)習(xí)的負(fù)擔(dān)。4．網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從