McCulloch及Pitts已提出第一個(gè)類神經(jīng)元的運(yùn)算模型.ppt

第二章,感知機(jī),2.1簡(jiǎn)介,在1943年，McCulloch和Pitts已提出第一個(gè)類神經(jīng)元的運(yùn)算模型。神經(jīng)心理學(xué)家Hebb提出一種理論，他認(rèn)為學(xué)習(xí)現(xiàn)象的發(fā)生，乃在於神經(jīng)元間的突觸產(chǎn)生某種變化。Rosenblatt將這兩種創(chuàng)新學(xué)說(shuō)結(jié)合起來(lái)，孕育出所謂的感知機(jī)(perceptron)。感知機(jī)是由具有可調(diào)整的鍵結(jié)值(synapticweights)以及閥值(threshold)的單一個(gè)類神經(jīng)元(neuron)所組成。感知機(jī)是各種類神經(jīng)網(wǎng)路中，最簡(jiǎn)單且最早發(fā)展出來(lái)的類神經(jīng)網(wǎng)路模型，通常被用來(lái)做為分類器(classifier)使用。,2.2感知機(jī)基本架構(gòu)(1),感知機(jī)的基本組成元件為一個(gè)具有線性組合功能的累加器，後接一個(gè)硬限制器(hardlimiter)而成，如圖2.1所示。一般說(shuō)來(lái)，若我們?cè)O(shè)定硬限制器之輸入為正值時(shí)，則類神經(jīng)元的輸出為+1；反之，若硬限制器之輸入為負(fù)值時(shí)，則類神經(jīng)元的輸出為-1。,圖2.1：感知機(jī)之架構(gòu)方塊。,2.2感知機(jī)基本架構(gòu)(2),分類的判斷規(guī)則是：若感知機(jī)的輸出為+1，則將其歸類於C1群類；若感知機(jī)的輸出為-1，則將其歸類於C2群類。判斷規(guī)則所劃分的只有兩個(gè)判斷區(qū)域，我們可以將作為分類依據(jù)的超平面定義如下：,圖2.2：一個(gè)具有二維輸入的兩群分類問(wèn)題。,(2.2),2.3感知機(jī)收斂定理(1),步驟一：網(wǎng)路初始化以隨機(jī)的方式來(lái)產(chǎn)生亂數(shù)，令w(0)為很小的實(shí)數(shù)，並且將學(xué)習(xí)循環(huán)n設(shè)定為1。步驟二：計(jì)算網(wǎng)路輸出值在第n次學(xué)習(xí)循環(huán)時(shí)，呈現(xiàn)輸入向量x(n)，此時(shí)類神經(jīng)元的輸出為：步驟三：調(diào)整鍵結(jié)值向量步驟四：將學(xué)習(xí)循環(huán)n加1；回到步驟二。,(2.11),2.3感知機(jī)收斂定理(2),調(diào)整後的類神經(jīng)元，若再用相同的輸入範(fàn)例來(lái)加以測(cè)試，則其輸出值會(huì)更加地接近期待值，其原因如下：,圖2.4：以幾何觀點(diǎn)來(lái)分析感知機(jī)之訓(xùn)練過(guò)程；(a)若d=-1且y=1；(b)若d=1且y=-1。,範(fàn)例2.1：感知機(jī)(1),學(xué)習(xí)率為0.8，並且將鍵結(jié)值的初始值設(shè)定為(0,1)，令活化函數(shù)為sgn函數(shù)，神經(jīng)元之閥值為-1,(1)n=0,(1)n=1，,(2)n=2，,(3)n=3，,(4)n=4，,(5)n=5，,(6)n=6，,圖2.5：感知機(jī)於疊代次數(shù)第4,5,8次時(shí)的鍵結(jié)值向量。,範(fàn)例2.1：感知機(jī)(2),假設(shè)當(dāng)初學(xué)習(xí)率設(shè)定為0.1，那麼的修正量會(huì)不同：此時(shí)若將相同的輸入測(cè)試此新的鍵結(jié)值向量，會(huì)發(fā)現(xiàn)期望輸出值為-1，但感知機(jī)輸出值為1，分類錯(cuò)誤，因此仍需修正感知機(jī)的鍵結(jié)值向量。也就是說(shuō)，感知機(jī)的學(xué)習(xí)過(guò)程並不保證一次就學(xué)會(huì)；有時(shí)更會(huì)發(fā)生為了學(xué)新的輸入?yún)s將原先已正確分類的資料給誤判了。,2.4Widrow-Hoff法則(1),此種由Widrow和Hoff於1960年提出訓(xùn)練所謂“適應(yīng)線性元件”(AdaptiveLinearElement簡(jiǎn)稱為Adaline)的學(xué)習(xí)規(guī)則，被稱做Widrow-Hoff法則或最小均方誤差法?；旧螦daline和感知機(jī)的架構(gòu)是一樣的，主要的差別在於訓(xùn)練法則的不同，感知機(jī)的訓(xùn)練目標(biāo)是減少分類錯(cuò)誤，而Adaline是減少類神經(jīng)元的真實(shí)輸出與期望輸出間的均方誤差。,圖2.6：Adaline之架構(gòu)方塊圖。,2.4Widrow-Hoff法則(2),給定一組輸入/輸出對(duì)，代表網(wǎng)路的期望輸出值。用來(lái)訓(xùn)練Adaline的LMS法則就是想辦法找出一個(gè)鍵結(jié)值向量，它可以使得誤差的均方值(meansquare)最小，其中。這個(gè)問(wèn)題的答案在於所謂的Wiener-Hoff方程式。定義均方誤差(mean-squareerror)為：其中E.是機(jī)率期望值運(yùn)算子。,(2.17),2.4Widrow-Hoff法則(3),首先將代入式(2.17)並且展開(kāi)可得：我們另外定義式(2.19)中的三個(gè)期望值運(yùn)算如下：1.是期望輸出d的均方值(mean-squarevalue)；令2.是期望輸出d與輸入信號(hào)的交互相關(guān)函數(shù)(cross-correlationfunction)；令3.是輸入信號(hào)與彼此間的自相關(guān)函數(shù)(autocorrelationfunction)；令,(2.18),(2.20),(2.21),(2.22),2.4Widrow-Hoff法則(4),有了以上三個(gè)式子的定義，現(xiàn)在我們把式(2.19)重寫如下：我們將誤差函數(shù)J對(duì)權(quán)重作偏微分，並將此偏微分方程式設(shè)為零，因此我們可以得到以下p個(gè)方程式令為權(quán)重的最佳值，從式(2.24)可知權(quán)重參數(shù)的最佳值是由下列p個(gè)方程式所決定：這組方程式稱為Wiener-Hopf方程式，而根據(jù)此權(quán)重參數(shù)所設(shè)計(jì)的濾波器則稱之為Wiener濾波器。,(2.23),(2.24),(2.25),2.4Widrow-Hoff法則(5),式(2.25)其實(shí)可以寫成如下的矩陣型式：其中，是一個(gè)維度的自相關(guān)矩陣，和是一個(gè)維度的交互相關(guān)向量。很顯然地，Wiener-Hoff方程式的解為問(wèn)題是，我們通常不知道自相關(guān)矩陣與交互相關(guān)向量的值是多少。即使知道，我們每次都必須計(jì)算出R的反矩陣，而求反矩陣的計(jì)算量相當(dāng)龐大，因此實(shí)際上的作法是採(cǎi)用LMS演算法，以疊代的方式來(lái)解Wiener-Hoff方程式。,(2.26),(2.27),2.4.1最小均方演算法(1),當(dāng)我們無(wú)法得知自相關(guān)函數(shù)與交互相關(guān)函數(shù)的資訊時(shí)，以瞬間估測(cè)(instantaneousestimates)的技術(shù)來(lái)估測(cè)這兩個(gè)相關(guān)函數(shù)，並且使用梯度坡降法來(lái)疊代求解。從式(2.21)與式(2.22)可以導(dǎo)出：由於LMS法則使用梯度坡降法，所以權(quán)重的調(diào)整方向是往誤差梯度的反方向修正，計(jì)算方式如下：,(2.28),(2.29),(2.30),2.4.1最小均方演算法(2),將式(2.28)及式(2.29)代入式(2.30)中的梯度，便可以得到下式：,注意在式(2.31)中，我們以來(lái)代替，以強(qiáng)調(diào)式(2.31)中的權(quán)重參數(shù)是估測(cè)值。,(2.31),2.4.1最小均方演算法(3),步驟一：權(quán)重初始化，令步驟二：設(shè)定學(xué)習(xí)循環(huán)n=1，並且計(jì)算步驟三：將學(xué)習(xí)循環(huán)加1，回到步驟二。,2.4.1最小均方演算法(4),我們將感知機(jī)訓(xùn)練法與最小均方演算法比較如下：感知機(jī)訓(xùn)練演繹法主要的目標(biāo)是調(diào)整鍵結(jié)值，使得類神經(jīng)元的輸出與期望輸出值相同，亦即分類成功；而LMS演繹法強(qiáng)調(diào)於如何找出一組鍵結(jié)值，使得類神經(jīng)元的軸突丘細(xì)胞膜電位儘可能地接近。2.在輸入資料為線性不可分割(linearlyinseparable)的情況下，LMS演繹法有可能表現(xiàn)得比感知機(jī)演繹法還要好，因?yàn)榍罢邥?huì)收斂至均方誤差的最小值，而後者卻無(wú)法收斂，所以訓(xùn)練過(guò)程被中斷後，我們無(wú)法保證最後的鍵結(jié)值是整個(gè)訓(xùn)練過(guò)程中最好的一組鍵結(jié)值。3.在輸入資料為線性可分割(linearlyseparable)時(shí)，感知機(jī)演繹法可以保證收斂，並且可以百分之百分類成功；而LMS演繹法雖然會(huì)收斂，但是卻並不一定可以百分之百分類成功，因?yàn)樗饕垤秾⒕秸`差極小化。,2.4.1最小均方演算法(4),圖2.7：(a)感知機(jī)演繹法與(b)LMS演繹法的收斂情形。,2.5學(xué)習(xí)率調(diào)整方法(1),應(yīng)用以梯度坡降法為根本的演算法時(shí)，最常遇到的問(wèn)題就是，如何適當(dāng)?shù)卦O(shè)定學(xué)習(xí)率。首先我們將式(2.28)和式(2.29)代入式(2.23)可得下式我們發(fā)現(xiàn)均方誤差函數(shù)，J，對(duì)每一個(gè)鍵結(jié)值來(lái)說(shuō)都是個(gè)二次方程式。,2.5學(xué)習(xí)率調(diào)整方法(2),此二次方程式會(huì)形成如圖2.8的拋物線函數(shù)，也就是說(shuō)，均方誤差函數(shù)對(duì)鍵結(jié)值來(lái)說(shuō)只有一個(gè)全域極小值存在，所以不會(huì)有收斂到局部極小值的問(wèn)題產(chǎn)生，但學(xué)習(xí)率的大小設(shè)定仍會(huì)影響能否收斂到全域極小值的結(jié)果。,圖2.8：二次方程式的均方誤差函數(shù)。,2.5學(xué)習(xí)率調(diào)整方法(3),圖2.8：三種設(shè)定學(xué)習(xí)率的方式。,2.6感知機(jī)之進(jìn)階探討(1),Gallant所提出的“口袋演繹法”(pocketalgorithm)。步驟一：設(shè)定鍵結(jié)值向量的初始值為向量。步驟二：隨機(jī)地選擇一個(gè)訓(xùn)練樣本，並且輸入至感知機(jī)網(wǎng)路中。步驟三：(a)如果目前的鍵結(jié)值向量能夠?qū)⒂?xùn)練樣本正確地分類成功，且能夠正確分類的訓(xùn)練樣本數(shù)，大於口袋中的那一組鍵結(jié)值向量所能夠正確分類的訓(xùn)練樣本數(shù)，則以來(lái)取代，並且更正目前所能正確分類的訓(xùn)練樣本數(shù)目。(b)如果目前的鍵結(jié)值向量將訓(xùn)練樣本分類錯(cuò)誤，則修正目前的鍵結(jié)值向量為：步驟四：回到步驟二。,2.6感知機(jī)之進(jìn)階探討(2),理論上，感知機(jī)是可以用來(lái)解決任何複雜的圖樣識(shí)別的問(wèn)題，只是當(dāng)時(shí)沒(méi)有一個(gè)有效率的訓(xùn)練演繹法來(lái)配合而已。單層的感知機(jī)是用超平面來(lái)切割空間，因此只能處理線性可分割的資料。雙層感知機(jī)可以處理較複雜的問(wèn)題，譬如說(shuō)我們限制第二層的感知機(jī)只執(zhí)行邏輯AND的功能，那麼第一層的感知機(jī)便可合力圍起一個(gè)凸形(convex)的決定區(qū)域。三層的感知機(jī)則可以形成任意形狀的決定區(qū)域，譬如說(shuō)第二層的感知機(jī)執(zhí)行邏輯AND的功能，而第三層的感知機(jī)則執(zhí)行邏輯OR的功能，那麼不管是凸形、凹形(concave)的決定區(qū)域都可以輕易地形成。,2.6感知機(jī)之進(jìn)階探討(3),當(dāng)時(shí)沒(méi)有一種有效的學(xué)習(xí)演算法可以配套使用。之所以需要三層的架構(gòu)，是因?yàn)槲覀兿拗屏烁兄獧C(jī)的活化函數(shù)是採(cǎi)用硬限制器，以及限定第二層和第三層的類神經(jīng)元，分別執(zhí)行AND與OR的功能。,圖2.9：感知機(jī)的決定區(qū)域之收斂特性分析。,2.7結(jié)語(yǔ),一個(gè)單層的感知機(jī)架構(gòu)可以百分之百地將線