BP人工神經(jīng)網(wǎng)絡(luò)的基本原理、模型與實(shí)例教學(xué)課件

第8章

人工神經(jīng)網(wǎng)絡(luò)方法2021/8/231精品PPT模板本講大綱：人工神經(jīng)網(wǎng)絡(luò)的基本概念誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)2021/8/232精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念從數(shù)學(xué)和物理方法以及信息處理的角度，對(duì)人腦神經(jīng)網(wǎng)絡(luò)進(jìn)行抽象，并建立某種簡(jiǎn)化模型，稱為人工神經(jīng)網(wǎng)絡(luò)。應(yīng)用領(lǐng)域：模式識(shí)別系統(tǒng)辨識(shí)預(yù)測(cè)預(yù)估數(shù)據(jù)挖掘經(jīng)濟(jì)學(xué)……2021/8/233精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

人工神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是由許多小的非線性函數(shù)組成的大的非線性函數(shù)，反映的是輸入變量到輸出變量間的復(fù)雜映射關(guān)系。先給出單個(gè)人工神經(jīng)網(wǎng)絡(luò)的一般模型描述：2021/8/234精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念先來(lái)看一個(gè)單一輸入的神經(jīng)元模型輸入變量：x1連接權(quán)重：w1激活函數(shù)：f(·)

w1x1f(·)

w1x12021/8/235精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

2021/8/236精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念單極sigmoid函數(shù)2021/8/237精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念雙曲函數(shù)2021/8/238精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念增加激活閾值后的神經(jīng)元模型輸入變量：x1連接權(quán)重：w1激活函數(shù)：f(·)

w1x1f(·)

w1x1-θ-1小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？x1w1θ10.20.42021/8/239精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念當(dāng)輸入增加時(shí)的神經(jīng)元模型輸入變量：x1，x2連接權(quán)重：w1，w2激活函數(shù)：f(·)

w1x1f(·)

w1x1+w2x2-θ-1w2x2小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？x1x2w1w2θ100.20.40.42021/8/2310精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念

w1w2wmxmx2x1............f(·)

-1

2021/8/2311精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念當(dāng)多個(gè)神經(jīng)元組合起來(lái)時(shí)，人工神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)如下：輸入層隱

藏

層-1-1-1∑

f∑

f........................xmx2x1........................y1y2yn∑

f∑

f∑

f∑

f∑

f∑

f∑

f-1輸出層............2021/8/2312精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念當(dāng)層數(shù)增加時(shí)的神經(jīng)元模型輸入變量：x1，x2連接權(quán)重：w1，w2激活函數(shù)：f(·)

w1x1f(·)

w1x1+w2x2-θ-1w2x2小練習(xí)：請(qǐng)你算一算，當(dāng)初始輸入、權(quán)重和激活閾值為如下數(shù)值時(shí)，該神經(jīng)元的凈輸入和輸出分別是多少？x1x2w1w2θ100.20.40.42021/8/2313精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.2-0.30.40.1-0.50.2-0.3-0.20.4-0.2-0.1123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6初始輸入、權(quán)重和偏倚值小練習(xí)：請(qǐng)你算一算，各節(jié)點(diǎn)的凈輸入和凈輸出分別是多少？2021/8/2314精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念單元j凈輸入Ij凈輸出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6凈輸入和輸出的計(jì)算-0.70.10.3320.525-0.1050.47440.2+0-0.5-0.4=-0.75-0.3+0+0.2+0.2=0.16-(0.3)(0.332)-(0.2)(0.525)+0.1=-0.1051/(1+e0.7)=0.3321/(1+e-0.1)=0.5251/(1+e0.105)=0.4742021/8/2315精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念思考：

如果想要讓神經(jīng)網(wǎng)絡(luò)的期望輸出盡可能接近“1”這個(gè)數(shù)值，請(qǐng)問(wèn)應(yīng)該調(diào)整網(wǎng)絡(luò)的哪些參數(shù)？2021/8/2316精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6x1x2x3w14w15w24w25w34w35w46w56θ4θ5θ61010.192-0.3060.40.1-0.5080.194-0.261-0.1380.408-0.194-0.218初始輸入、權(quán)重和偏倚值小練習(xí)：若將各權(quán)值與閾值換成以上各值，各節(jié)點(diǎn)的凈輸入和凈輸出分別是多少？2021/8/2317精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念單元j凈輸入Ij凈輸出Oj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6凈輸入和輸出的計(jì)算-0.5220.0820.62760.4795-0.18420.545940.192+0-0.306-0.408=-0.5225-0.306+0+0.194+0.194=0.0826-(0.3)(0.6276)-(0.2)(0.4795)+0.1=-0.18421/(1+e-0.522)=0.62761/(1+e-0.1)=0.47951/(1+e-0.1842)=0.5459與0.474相比更接近“1”了2021/8/2318精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)運(yùn)算的難點(diǎn)之一：如何高效地確定各個(gè)連接權(quán)值W與激活閾值θ

自動(dòng)確定權(quán)值與閾值的過(guò)程稱為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)（訓(xùn)練）。2021/8/2319精品PPT模板8.1人工神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)激勵(lì)學(xué)習(xí)2021/8/2320精品PPT模板8.2誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)反向傳播算法分二步進(jìn)行，即正向傳播和反向傳播。1．正向傳播輸入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理，通過(guò)所有的隱層之后，則傳向輸出層；在逐層處理的過(guò)程中，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較，如果現(xiàn)行輸出不等于期望輸出，則進(jìn)入反向傳播過(guò)程。2．反向傳播反向傳播時(shí)，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回，并對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改，以望誤差信號(hào)趨向最小。2021/8/2321精品PPT模板8.2誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)

2021/8/2322精品PPT模板8.2誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)單元j計(jì)算誤差Errj123456x1x3x2w14w15w24w25w34w35w46w56θ4θ5θ6每個(gè)節(jié)點(diǎn)輸入端誤差Errj的計(jì)算Err4=-0.0087Err5=-0.00650.3320.525Err6=0.13111-0.4744[0.332?(1-0.332)]?(0.1311)?(-0.3)5[0.525?(1-0.525)]?(0.1311)?(-0.2)6[0.474?(1-0.474)]?(1-0.474)-0.0087-0.00650.13110.1311?w460.1311?w562021/8/2323精品PPT模板8.2誤差反向傳播(BP)神經(jīng)網(wǎng)絡(luò)權(quán)重或偏差新值w46-0.3+(0.9)(0.1311)(0.332)=-0.261w56-0.2+(0.9)(0.1311)(0.525)=-0.138w140.2+(0.9)(-0.0087)(1)=0.192w15-0.3+(0.9)(-0.0065)(1)=-0.306w240.4+(0.9)(-0.0087)(0)=0.4w250.1+(0.9)(-0.0065)(0)=0.1w34-0.5+(0.9)(-0.0087)(1)=-0.508w350.2+(0.9)(-0.0065)(1)=0.194θ6-0.1+(0.9)(0.1311)(-1)=-0.218θ5-0.2+(0.9)(-0.0065)(-1)=-0.194θ40.4+(0.9)(-0.0087)(-1)=0.408權(quán)重和偏倚更新的計(jì)算2021/8/2324精品PPT模板參考資料(美)韓家煒,(美)坎伯(Kamber,M.),等.數(shù)據(jù)挖掘:概念與技術(shù),第3版[M].機(jī)械工業(yè)出版社,2012.張興會(huì).數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)[M].清華大學(xué)出版社,2011.2021/8/2325精品PPT模板9、人的價(jià)值，在招收誘惑的一瞬間被決定。03-2月-2303-2月-23Friday,February3,202310、低頭要有勇氣，抬頭要有低氣。***2/3/20234:30:30PM11、人總是珍惜為得到。03-2月-23**Feb-2303-Feb-2312、人亂于心，不寬余請(qǐng)。***Friday,February3,202313、生氣是拿別人做錯(cuò)的事來(lái)懲罰自己。03-2月-2303-2月-23**03February202314、抱最大的希望，作最大的努力。03二月2023**03-2月-2315、一個(gè)人炫耀什么，說(shuō)明他內(nèi)心缺少什么。。二月23*03-2月-23*03February202316、業(yè)余生活要有意義，不要越軌。**2/3/202317、一個(gè)人即使已登上頂峰，也仍要自強(qiáng)不息。***03-2月-23謝謝大家2021/8/2326精品PPT模板9、人的價(jià)值，在招收誘惑的一瞬間被決定。03-2月-2303-2月-23Friday,February3,202310、低頭要有勇氣，抬頭要有低氣。***2/3/20234:30:30PM11、人總是珍惜為得到。03-2月-23**Feb-2303-Feb-2312、人亂于心，不寬余請(qǐng)。***F