神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第一頁(yè)，共五十一頁(yè)，編輯于2023年，星期三摘自《TalkingNets:AnOralHistoryofNeuralNetworks》封面2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二頁(yè)，共五十一頁(yè)，編輯于2023年，星期三6.6.1神經(jīng)網(wǎng)絡(luò)基礎(chǔ)公元前400年左右，柏拉圖和亞里士多德就曾對(duì)人類(lèi)認(rèn)知、記憶、思維進(jìn)行過(guò)研究；19世紀(jì)末，出現(xiàn)了神經(jīng)元學(xué)說(shuō)；美國(guó)生物學(xué)家W.James在《Physiology》一書(shū)中提到，“人腦中兩個(gè)基本單元靠得較近時(shí)，一個(gè)單元的興奮會(huì)傳到另一個(gè)單元；20世紀(jì)40年代，神經(jīng)解剖學(xué)、神經(jīng)生理學(xué)、神經(jīng)元的電生理過(guò)程等有了突破性進(jìn)展。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三頁(yè)，共五十一頁(yè)，編輯于2023年，星期三人腦中神經(jīng)元（神經(jīng)細(xì)胞）的結(jié)構(gòu)Nucleus：核Cellbody：細(xì)胞體

Dentrite：樹(shù)突Axon：軸突2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四頁(yè)，共五十一頁(yè)，編輯于2023年，星期三神經(jīng)元之間的電信號(hào)傳遞軸突后部裂出許多分枝，分枝末端有突觸，突觸與樹(shù)突連接；軸突中的信號(hào)經(jīng)突觸轉(zhuǎn)換為“阻止”或“激活”信號(hào)；當(dāng)神經(jīng)元的“凈輸入”超過(guò)閾值時(shí)，其沿軸突發(fā)出信號(hào)；改變突觸的效能，神經(jīng)元之間的影響隨之改變，學(xué)習(xí)就發(fā)生了。突觸（神經(jīng)鍵）2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第五頁(yè)，共五十一頁(yè)，編輯于2023年，星期三生物神經(jīng)元的結(jié)構(gòu)摘自張仰森《人工智能原理與應(yīng)用》隨書(shū)課件2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第六頁(yè)，共五十一頁(yè)，編輯于2023年，星期三1943年，W.S.McCulloch和W.A.Pitts合作提出了第一個(gè)人工神經(jīng)元模型（M-P模型）；Sumy0T1f是閾值為T(mén)的階躍函數(shù)∑I1I2IN…W1W2WNyM-P模型中輸入、輸出的關(guān)系摘自.eg/rehan/ann/2_3_1%20The%20McCulloch-Pitts%20Model%20of%20Neuron.htm2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第七頁(yè)，共五十一頁(yè)，編輯于2023年，星期三M-P神經(jīng)元模型樹(shù)突加和細(xì)胞體閾值軸突參考：http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html#What%20is%20a%20Neural%20Network突觸2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第八頁(yè)，共五十一頁(yè)，編輯于2023年，星期三1949年，DonalaU.Hebb在“TheOrganizationofBehavior”一書(shū)中認(rèn)為學(xué)習(xí)的過(guò)程最終發(fā)生在神經(jīng)元之間的突觸部位，突觸的連接強(qiáng)度隨著突觸前后神經(jīng)元的活動(dòng)而變化；連接權(quán)的學(xué)習(xí)律正比于突觸前后兩個(gè)神經(jīng)元的活動(dòng)狀態(tài)值的乘積；可假設(shè)權(quán)是對(duì)稱(chēng)的，細(xì)胞的互連結(jié)構(gòu)是通過(guò)改變彼此的連接權(quán)創(chuàng)造出來(lái)的。突觸連接強(qiáng)度的可變性是學(xué)習(xí)和記憶的基礎(chǔ)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第九頁(yè)，共五十一頁(yè)，編輯于2023年，星期三Hebb規(guī)則這是神經(jīng)網(wǎng)絡(luò)的第1個(gè)學(xué)習(xí)算法；神經(jīng)元的輸出連接權(quán)值的調(diào)整公式學(xué)習(xí)率凈輸入2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十頁(yè)，共五十一頁(yè)，編輯于2023年，星期三1957年，F(xiàn)rankRosenblatt在M-P模型基礎(chǔ)上，定義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取名為“感知器”。輸入層計(jì)算層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十一頁(yè)，共五十一頁(yè)，編輯于2023年，星期三設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，除了明確網(wǎng)絡(luò)的結(jié)構(gòu)、神經(jīng)元的傳輸函數(shù)（f）；還要給出學(xué)習(xí)算法。學(xué)習(xí)算法用于得出神經(jīng)網(wǎng)絡(luò)中的各個(gè)參數(shù)。學(xué)習(xí)算法通常是迭代算法，對(duì)應(yīng)神經(jīng)網(wǎng)絡(luò)的演變過(guò)程；算法收斂到一個(gè)穩(wěn)定狀態(tài)時(shí)，神經(jīng)網(wǎng)絡(luò)的各參數(shù)（連接權(quán)值、閾值等）就基本不變了；這個(gè)過(guò)程稱(chēng)為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十二頁(yè)，共五十一頁(yè)，編輯于2023年，星期三人工神經(jīng)網(wǎng)絡(luò)的兩個(gè)操作模式訓(xùn)練模式（trainingmode）準(zhǔn)備大量的有教師指導(dǎo)的（或無(wú)教師指導(dǎo)的）的訓(xùn)練樣本（即實(shí)例），對(duì)ANN進(jìn)行訓(xùn)練，確定ANN的內(nèi)部參數(shù)（甚至結(jié)構(gòu)）。使用模式（usingmode）輸入一個(gè)實(shí)際例子，讓ANN分析并給出結(jié)果。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十三頁(yè)，共五十一頁(yè)，編輯于2023年，星期三“感知器”是怎么訓(xùn)練的呢？假設(shè)每個(gè)樣本含n個(gè)屬性，用向量(x1,x2,…,xn)表示；若X為樣本變量，X∈Rn；wij是xi到神經(jīng)元j

的連接權(quán)值，Wj是神經(jīng)元j

的輸入連接的權(quán)值向量，即Wj=(w1j,w2j,…,

wnj)；先隨機(jī)設(shè)置{wij}和{θj

}，θj

是神經(jīng)元

j

的閾值；不同神經(jīng)元的參數(shù)（包括連接權(quán)值和閾值）的學(xué)習(xí)是相互獨(dú)立的，故只需給出一個(gè)神經(jīng)元的學(xué)習(xí)算法。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十四頁(yè)，共五十一頁(yè)，編輯于2023年，星期三神經(jīng)元j的參數(shù)怎么學(xué)習(xí)呢？樣本必須是有教師指導(dǎo)的，即預(yù)先知道其分類(lèi)；輸入(x1,x2,…,xn)時(shí)，神經(jīng)元j的輸出應(yīng)為dj。對(duì)于離散感知器，yj按下式計(jì)算。

則wij的調(diào)整規(guī)則是

wij(t+1)=wij(t)+η(dj-yj)xiη為調(diào)整步幅系數(shù)，η>02008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十五頁(yè)，共五十一頁(yè)，編輯于2023年，星期三“感知器”對(duì)線(xiàn)性可分問(wèn)題具有分類(lèi)能力若樣本空間為Rn，存在n-1維的超平面可將樣本分為兩類(lèi)，則稱(chēng)線(xiàn)性可分。線(xiàn)性可分的二維樣本空間存在至少一組wij和θj

，使得對(duì)應(yīng)兩個(gè)子空間的神經(jīng)元輸出分別為0和1。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十六頁(yè)，共五十一頁(yè)，編輯于2023年，星期三t樣本X期望輸出dW(t)實(shí)際輸出y=W(t)TXW(t+1)=W(t)+η(d－y)X0(1,-1,-1)-1(0,0,0)0(-0.4,0.4,0.4)1(1,1,-1)1(-0.4,0.4,0.4)-0.4(0.16,0.96,-0.16)2(1,-1,-1)-1(0.16,0.96,-0.16)-0.64(0.016,1.104,-0.016)3(1,1,-1)1(0.016,1.104,-0.016)1.136(0.038,1.050,-0.038)∞…………(0,1,0)例：連接強(qiáng)度W的學(xué)習(xí)過(guò)程（η=0.4）驗(yàn)證：(0,1,0)T(1,-1,-1)=-1(0,1,0)T(1,1,-1)=12008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十七頁(yè)，共五十一頁(yè)，編輯于2023年，星期三“感知器”無(wú)法解決線(xiàn)性不可分問(wèn)題；1969年，Minsky和Papert指出了“感知器”的這種局限性，例如，“感知器”無(wú)法實(shí)現(xiàn)“異或”邏輯。邏輯“與”邏輯“異或”x1x2yx1x2y0000000100111001011111102008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十八頁(yè)，共五十一頁(yè)，編輯于2023年，星期三設(shè)輸入向量X=(x1,x2)，神經(jīng)元j的輸出為：學(xué)習(xí)邏輯“與”時(shí)，有至少存在一組w1j、w2j和θ滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感知器對(duì)2輸入的邏輯“與”

問(wèn)題有分類(lèi)能力。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第十九頁(yè)，共五十一頁(yè)，編輯于2023年，星期三學(xué)習(xí)邏輯“異或”時(shí)，有不存在任何一組w1j、w2j和θ滿(mǎn)足上述方程組，即單結(jié)點(diǎn)感知器不能對(duì)2輸入的邏輯“異或”

問(wèn)題求解。011x1x2線(xiàn)性可分011x1x2線(xiàn)性不可分2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十頁(yè)，共五十一頁(yè)，編輯于2023年，星期三多層感知器采用二層或多層感知器；只允許某一層的連接權(quán)值可調(diào)，因?yàn)闊o(wú)法知道網(wǎng)絡(luò)隱層的神經(jīng)元的理想輸出；要允許各層的連接權(quán)值可調(diào)，需要用1986年提出的誤差反向傳播（即BP）學(xué)習(xí)算法。多層感知器可解決單層感知器無(wú)法解決的某些問(wèn)題，例如，用二層感知器就可解決異或問(wèn)題。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十一頁(yè)，共五十一頁(yè)，編輯于2023年，星期三70年代，集成電路使計(jì)算機(jī)快速發(fā)展；在“感知器”局限性的困擾下，機(jī)器學(xué)習(xí)的熱點(diǎn)由連接主義（即神經(jīng)網(wǎng)絡(luò)）轉(zhuǎn)向符號(hào)主義；70年代被認(rèn)為是ANN的研究低潮期，但仍有ANN的一些重要成果出現(xiàn)。72年，芬蘭T.Kohonen教授提出了無(wú)教師學(xué)習(xí)網(wǎng)絡(luò)SOM（Self-OrganizingfeatureMap）;76年，美國(guó)Grossberg教授提出了ART（AdaptiveResonnanceTheory）。自組織競(jìng)爭(zhēng)網(wǎng)絡(luò)模型2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十二頁(yè)，共五十一頁(yè)，編輯于2023年，星期三自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)中，有側(cè)抑制現(xiàn)象；一個(gè)神經(jīng)元興奮，通過(guò)突觸抑制相鄰神經(jīng)元；它越興奮，對(duì)周?chē)窠?jīng)元的抑制作用越強(qiáng)。抑制現(xiàn)象使神經(jīng)元之間出現(xiàn)競(jìng)爭(zhēng)；起初，各神經(jīng)元都處于（不同程度）興奮狀態(tài)，最后“勝者為王”。自組織特征映射（SOM）和自適應(yīng)共振理論（ART）都屬于這類(lèi)神經(jīng)網(wǎng)絡(luò)模型。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十三頁(yè)，共五十一頁(yè)，編輯于2023年，星期三SOM的典型結(jié)構(gòu)輸入層競(jìng)爭(zhēng)層(輸出層)…………x1x2xixny1yjymw1jwnj2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十四頁(yè)，共五十一頁(yè)，編輯于2023年，星期三SOM可實(shí)現(xiàn)聚類(lèi)分析聚類(lèi)在沒(méi)有教師指導(dǎo)的情況下，自動(dòng)尋找樣本的屬性關(guān)系，將相似的樣本劃歸為一類(lèi)。分類(lèi)已知各樣本的類(lèi)別，在類(lèi)別知識(shí)（即教師信號(hào)）的指導(dǎo)下，形成分類(lèi)規(guī)則，將各樣本分到各自的類(lèi)中。共同點(diǎn)：尋找樣本-類(lèi)的映射函數(shù)。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十五頁(yè)，共五十一頁(yè)，編輯于2023年，星期三樣本相似度的測(cè)量設(shè)X1和X2是表示兩個(gè)樣本的向量；歐式距離法余弦法（向量夾角法）X1X2X1－

X22008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十六頁(yè)，共五十一頁(yè)，編輯于2023年，星期三SOM中的競(jìng)爭(zhēng)學(xué)習(xí)算法對(duì)樣本X

和各神經(jīng)元的連接權(quán)值向量Wj規(guī)一化尋找獲勝的神經(jīng)元jX1XiXnw1jwijwnj……yj輸入到神經(jīng)元j的連接2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十七頁(yè)，共五十一頁(yè)，編輯于2023年，星期三SOM中的競(jìng)爭(zhēng)學(xué)習(xí)算法網(wǎng)絡(luò)輸出與權(quán)值調(diào)整對(duì)Wj*(t+1)進(jìn)行歸一化如果α足夠小則退出；否則衰減α，轉(zhuǎn)①2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十八頁(yè)，共五十一頁(yè)，編輯于2023年，星期三1982年，美國(guó)物理學(xué)家JohnJ.Hopfield提出了一種全連接神經(jīng)網(wǎng)絡(luò)模型（即Hopfield模型）；這是一種離散型反饋式神經(jīng)網(wǎng)絡(luò)（英縮寫(xiě)DHNN）；引入了“能量函數(shù)”概念，支持對(duì)神經(jīng)網(wǎng)絡(luò)運(yùn)行穩(wěn)定性進(jìn)行判定；成功求解旅行商問(wèn)題（TravelingSalesmanProblems）。1984年，他又提出了連續(xù)型Hopfield網(wǎng)絡(luò)（英縮寫(xiě)CHNN）。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第二十九頁(yè)，共五十一頁(yè)，編輯于2023年，星期三離散型Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)模型一般有wii=0，wij=wjiy1y2yjynθ1θ2θjθnw2jx1x2xjxnwj2…………2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十頁(yè)，共五十一頁(yè)，編輯于2023年，星期三神經(jīng)元的輸出也稱(chēng)神經(jīng)元的狀態(tài)；所有神經(jīng)元的狀態(tài)構(gòu)成反饋網(wǎng)絡(luò)的狀態(tài)Y；

Y=(y1,y2,…,yn)網(wǎng)絡(luò)輸入就是網(wǎng)絡(luò)狀態(tài)的初始值Y(0)；

Y(0)=(x1(0),x2(0),…,xn(0))由初始狀態(tài)，網(wǎng)絡(luò)開(kāi)始演化。

yj(t+1)=f(netj)

這里，netj為神經(jīng)元j的凈輸入，f(·)為神經(jīng)元的特性函數(shù)（也稱(chēng)作用、傳遞或轉(zhuǎn)移函數(shù)）。y1y2yjynθnx1x2xjxn…………2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十一頁(yè)，共五十一頁(yè)，編輯于2023年，星期三常見(jiàn)的特性函數(shù)10fu10fu10fuuk閾值型S狀(如sigmoid函數(shù))分段線(xiàn)性(飽和線(xiàn)性)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十二頁(yè)，共五十一頁(yè)，編輯于2023年，星期三對(duì)于DHNN，特性函數(shù)f可以是閾值型也可以是分段線(xiàn)性型凈輸入netj的計(jì)算2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十三頁(yè)，共五十一頁(yè)，編輯于2023年，星期三DHNN的兩種學(xué)習(xí)方式串行方式（也稱(chēng)異步方式）每次調(diào)整，只有一個(gè)神經(jīng)元按其凈輸入調(diào)整輸出（即狀態(tài)），而其他神經(jīng)元保持狀態(tài)不變；神經(jīng)元狀態(tài)的調(diào)整次序可按某種規(guī)定次序進(jìn)行，也可隨機(jī)選定。并行方式（也稱(chēng)同步方式）每次調(diào)整，各神經(jīng)元都按其凈輸入調(diào)整各自的狀態(tài)。

y1y2yjynθnx1x2xjxn…………2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十四頁(yè)，共五十一頁(yè)，編輯于2023年，星期三DHNN可能收斂于某個(gè)穩(wěn)定狀態(tài)，也可能產(chǎn)生振蕩構(gòu)成極限環(huán)；在串行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為對(duì)稱(chēng)陣；在并行方式下，為使網(wǎng)絡(luò)收斂，W應(yīng)為非負(fù)定對(duì)稱(chēng)陣；保證給定的樣本是網(wǎng)絡(luò)的吸引子，且有一定的吸引域。參考：朱大奇,史慧.人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用.第3章.科學(xué)出版社,2006年3月第1版.y1y2yjynθnx1x2xjxn…………2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十五頁(yè)，共五十一頁(yè)，編輯于2023年，星期三連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)模型該模型可表示為下列的非線(xiàn)性微分方程組：ui是神經(jīng)元i的膜電位，Ci和Ri分別是輸入電容和電阻，Ii是電路外的輸入電流，wij是神經(jīng)元i到神經(jīng)元j的連接強(qiáng)度，f(u)是u的非線(xiàn)性函數(shù)。這是一個(gè)N輸入、N輸出的有N組運(yùn)算放大器的電路，每個(gè)運(yùn)放輸出有到各運(yùn)放輸入的反饋通路。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十六頁(yè)，共五十一頁(yè)，編輯于2023年，星期三連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)的神經(jīng)元模型VjVjujCj…ViRij

=1/wijRjVj可對(duì)應(yīng)0至1之間的任意實(shí)數(shù)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十七頁(yè)，共五十一頁(yè)，編輯于2023年，星期三Hopfield網(wǎng)絡(luò)是一種非線(xiàn)性的動(dòng)力網(wǎng)絡(luò)；可通過(guò)反復(fù)的網(wǎng)絡(luò)動(dòng)態(tài)迭代來(lái)求解問(wèn)題，這是符號(hào)邏輯方法所不具有的特性；在求解某些問(wèn)題時(shí)，其求解方法與人類(lèi)的求解方法很相似；所求得的解可能不是最佳解，但其求解速度快。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十八頁(yè)，共五十一頁(yè)，編輯于2023年，星期三1986年，MIT出版社（Cambridge）出版了J.L.Rumelhart和D.E.McClelland主編的“ParallelDistributedProcessing:ExplorationintheMicrostructuresofCognition”一書(shū)；其中，詳細(xì)分析了多層前饋網(wǎng)絡(luò)中的誤差反向傳播（ErrorBackPropagation）算法，即BP算法，它很好地解決了感知器局限性問(wèn)題。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第三十九頁(yè)，共五十一頁(yè)，編輯于2023年，星期三前饋型神經(jīng)網(wǎng)絡(luò)輸入層輸出層隱層…x1xixN1……………y1yiyNm……2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十頁(yè)，共五十一頁(yè)，編輯于2023年，星期三BP算法正向傳播從輸入層到輸出層，逐層計(jì)算結(jié)點(diǎn)狀態(tài)；每一層結(jié)點(diǎn)的狀態(tài)只影響下一層結(jié)點(diǎn)的狀態(tài)。如輸出層沒(méi)有得到期望輸出（即有誤差），轉(zhuǎn)入反向傳播過(guò)程。反向傳播將誤差信號(hào)沿原路返回，通過(guò)修改各層的連接權(quán)值，使誤差信號(hào)遞減直到最小。2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十一頁(yè)，共五十一頁(yè)，編輯于2023年，星期三是還有樣本嗎BP算法的流程圖初始化給定輸入向量和期望輸出求隱層、輸出層各結(jié)點(diǎn)輸出求輸出與期望輸出的誤差e求誤差梯度權(quán)值學(xué)習(xí)計(jì)算隱層結(jié)點(diǎn)誤差否設(shè)置連接權(quán)和閾的初值有e足夠小結(jié)束無(wú)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十二頁(yè)，共五十一頁(yè)，編輯于2023年，星期三多層前饋網(wǎng)絡(luò)中的符號(hào)xi：樣本的第i個(gè)屬性yi：輸出層神經(jīng)元i的輸出di：輸出層神經(jīng)元i的期望輸出wijk：第i層神經(jīng)元

j

到第i+1層神經(jīng)元k的連接權(quán)值oij：第i層神經(jīng)元j的輸出θij：第

i

層神經(jīng)元

j

的閾值netij：第i層神經(jīng)元j的凈輸入Ni：第

i

層神經(jīng)元的數(shù)目2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十三頁(yè)，共五十一頁(yè)，編輯于2023年，星期三BP算法中的前向計(jì)算特征函數(shù)必須是有界連續(xù)可微的，如sigmoid函數(shù)2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十四頁(yè)，共五十一頁(yè)，編輯于2023年，星期三BP算法中的反向計(jì)算輸出層神經(jīng)元j的狀態(tài)誤差網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)函數(shù)wijk的調(diào)整量2008-2009學(xué)年第1學(xué)期神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)第四十五頁(yè)，共五十一頁(yè)，編輯于2023年，星期三BP算法