智能控制簡明教程第4章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)BP算法

4.4前饋神經(jīng)網(wǎng)絡(luò)

1986年,Rumelhart和McClelland提出多層前饋網(wǎng)絡(luò)（MFNW-MultilayerFeedforwardNeuralNetworks）的訓(xùn)練算法.誤差反向傳播（ErrorBackPropagation——EBP）是一種有導(dǎo)師學(xué)習(xí)，目前成為應(yīng)用最廣泛的一種網(wǎng)絡(luò)，有80%左右NN應(yīng)用BP算法，還提出了一些改進算法。智能控制簡明教程第2版1.網(wǎng)絡(luò)結(jié)構(gòu)多層前饋網(wǎng)絡(luò)結(jié)構(gòu)如圖所示，X、Y分別是輸入/出向量，每一個神經(jīng)元用一個節(jié)點表示，網(wǎng)絡(luò)由輸入層,隱層和輸出層節(jié)點組成，隱層可一層，也可以是多層，圖中是單隱層，前層至后層節(jié)點通過權(quán)連接。常用BP算法.

這種網(wǎng)絡(luò)結(jié)構(gòu)簡單，工作狀態(tài)穩(wěn)定，且易于硬件實現(xiàn)，且具有很強的非線性映射能力。智能控制簡明教程第2版2.BP網(wǎng)絡(luò)基本思想：BP學(xué)習(xí)算法：正向傳播+反向傳播智能控制簡明教程第2版正向傳播：模式樣本作用于輸入層，經(jīng)隱層傳向輸出層，若在輸出層得到了期望的輸出，則學(xué)習(xí)算法結(jié)束；否則反傳。反向傳播：將輸出誤差按梯度下降法通過隱層向輸入層返回，并調(diào)整各層神經(jīng)元的權(quán)值與閾值，使誤差不斷減少。智能控制簡明教程第2版智能控制簡明教程第2版①正向傳播智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版②權(quán)值調(diào)整（反向轉(zhuǎn)播）智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版隱層輸出層智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版BP算法的信號流圖智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版智能控制簡明教程第2版BP算法的主要功能1.非線性映射能力學(xué)習(xí)、存儲大量的輸入/輸出模式映射關(guān)系無需這種關(guān)系的數(shù)學(xué)描述智能控制簡明教程第2版2.泛化能力

當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。3.容錯能力

允許輸入樣本中帶有較大的誤差甚至個別錯誤。個別樣本中的錯誤不能左右對權(quán)矩陣的調(diào)整（滿足樣本提取的統(tǒng)計特性）。智能控制簡明教程第2版4.BP網(wǎng)絡(luò)的泛化能力（網(wǎng)絡(luò)性能好壞）

指用較少的樣本進行訓(xùn)練，使網(wǎng)絡(luò)能對未經(jīng)訓(xùn)練的輸入樣本也能給出正確的輸出，即BP網(wǎng)絡(luò)對受污染或帶噪聲的訓(xùn)練樣本，也能進行正確的映射。正是BP網(wǎng)絡(luò)的泛化能力使它解決各種實際問題。欲使BP網(wǎng)絡(luò)具有良好的泛化性必須：①輸入——輸出函數(shù)關(guān)系保持平滑，或函數(shù)一階導(dǎo)數(shù)存在。②訓(xùn)練集足夠大，樣本具有代表性。智能控制簡明教程第2版為了得到較好的泛化能力，除訓(xùn)練集外，還需測試集智能控制簡明教程第2版5.BP算法的不足a.非線性優(yōu)化，不可避免存在局部極小問題。b.學(xué)習(xí)算法的收斂速度慢，且與初始權(quán)值選擇有關(guān)。c.網(wǎng)絡(luò)節(jié)點與層數(shù)的選擇無理論方