第3章 神經(jīng)網(wǎng)絡(luò)

第3章神經(jīng)網(wǎng)絡(luò)

第一部分響應(yīng)機(jī)器學(xué)習(xí)的問題：給定一個(gè)由n維向量X組成的集合Ξ，分量為xi

,i=1,..,n。這些向量將是由一個(gè)響應(yīng)agent的感知處理單元計(jì)算出的特征向量。這些分量的值可以是數(shù)值，也可以是布爾值。也已知集合Ξ中每個(gè)X所對(duì)應(yīng)的恰當(dāng)?shù)膭?dòng)作a(這些動(dòng)作也許是學(xué)習(xí)者所觀察到的一個(gè)教師對(duì)一組輸入的響應(yīng)),這些相關(guān)的動(dòng)作有時(shí)稱為“標(biāo)號(hào)（label）”或“類別(class)”。集合Ξ與相應(yīng)的標(biāo)號(hào)組成了“訓(xùn)練集合(trainingset)”。

機(jī)器學(xué)習(xí)的問題就是尋找一個(gè)函數(shù)，如f(X)，“令人滿意地”與訓(xùn)練集合的成員相對(duì)應(yīng)。通常，我們希望，由f計(jì)算出的動(dòng)作盡可能與Ξ中向量的標(biāo)號(hào)一致。因?yàn)橥瑫r(shí)給出了輸入向量和標(biāo)號(hào)，所以我們認(rèn)為這一學(xué)習(xí)過程“受到監(jiān)控”。3.1生物神經(jīng)元

生物神經(jīng)元：也稱神經(jīng)細(xì)胞，它是構(gòu)成神經(jīng)系統(tǒng)的基本功能單元。雖然神經(jīng)元的形態(tài)有很大的差異，但基本結(jié)構(gòu)相似，這里從信息處理和生物控制角度，簡述其結(jié)構(gòu)和功能。

神經(jīng)元結(jié)構(gòu):(1)細(xì)胞體：由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜等組成。(2)樹突：胞體上短而多分枝的突起，稱樹突。相當(dāng)于神經(jīng)元的輸入端，接收傳入的神經(jīng)沖動(dòng)。(3)軸突：胞體上最長枝的突起，是軸交，也稱神經(jīng)纖維，端部有很多神經(jīng)末梢，傳出神經(jīng)沖動(dòng)。(4)突觸：突觸是神經(jīng)元之間的聯(lián)接接口，每一個(gè)神經(jīng)元約有104—105個(gè)突觸。一個(gè)神經(jīng)元通過其軸突的神經(jīng)末梢，經(jīng)突觸，與另一個(gè)神經(jīng)元的樹突聯(lián)接，以實(shí)現(xiàn)信息的傳遞。由于突觸的信息傳遞特性是可變的，即隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用強(qiáng)弱不問，形成了神經(jīng)元之間聯(lián)接的柔性，將其稱為結(jié)構(gòu)可塑性。(5)細(xì)胞膜電位：神經(jīng)細(xì)胞在受到電的、化學(xué)的、機(jī)械的刺激后，產(chǎn)生興奮，此時(shí)，細(xì)胞膜內(nèi)外有電位差，稱膜電位。膜內(nèi)為正，膜外為負(fù)。神經(jīng)元的功能：(1)興奮與抑制：當(dāng)傳入神經(jīng)元的沖動(dòng)，經(jīng)整合，使細(xì)胞膜電位升高，超過動(dòng)作電位于閾值時(shí)，即為興奮狀態(tài)，產(chǎn)生神經(jīng)沖動(dòng)，由軸突經(jīng)神經(jīng)末梢傳出。當(dāng)傳入神經(jīng)元的沖動(dòng)，整合，使細(xì)胞膜電位降低，低于閾值時(shí)，即為抑制狀態(tài)，不產(chǎn)生神經(jīng)沖動(dòng)。(2)學(xué)習(xí)與遺忘：由于神經(jīng)元結(jié)構(gòu)的可塑性，突觸的傳遞作用可增強(qiáng)與減弱，因此，神經(jīng)元具有學(xué)習(xí)與遺忘的功能。在神經(jīng)科學(xué)研究的基礎(chǔ)上，根據(jù)生物神經(jīng)元的結(jié)構(gòu)和功能，模擬生物神經(jīng)元的基本特征，建立了多種人工神經(jīng)元模型，也稱形式神經(jīng)元模型，簡稱神經(jīng)元模型。3.2訓(xùn)練單個(gè)TLU

3.2.1TLU幾何學(xué)

一個(gè)TLU：

TLU用一個(gè)線性邊界把輸入向量的空間分開。在二維空間里，此邊界為一條線，而在三維空間里為一個(gè)平面。在多維空間里此線性邊界稱為“超平面(hyperplane)”。

此超平面把X·W-θ＞0（θ為閾值）的向量與X·W-θ<0的向量分開。超平面方程為X·W-θ＝0。我們可以通過調(diào)節(jié)閾值來改變超平面(相對(duì)原點(diǎn))的位置，而通過調(diào)節(jié)權(quán)值可以改變其方向。

TLU幾何學(xué)解釋3.2.2擴(kuò)充向量

我們運(yùn)用n+l維“擴(kuò)充”向量來實(shí)現(xiàn)任意閾值。擴(kuò)充輸入向量的第n+1個(gè)分量的值總是為1；擴(kuò)充權(quán)向量的第n+1個(gè)分量wn+1，設(shè)定為所希望的閾值θ的負(fù)數(shù)。今后，當(dāng)我們運(yùn)用X·W這一符號(hào)表示時(shí)，采用的就是n+1維擴(kuò)充向量。那么，當(dāng)X·W≥0時(shí)，TLU的輸出為1；否則為0。

3.2.3梯度下降方法

研究訓(xùn)練一個(gè)TLU使其能對(duì)訓(xùn)練向量作出恰當(dāng)響應(yīng)的方法之一，就是定義一個(gè)誤差函數(shù)，使其能通過調(diào)節(jié)權(quán)值達(dá)到最小值。通常使用的誤差函數(shù)是平方差：

式中，fi是TLU對(duì)輸入Xi的實(shí)際響應(yīng)，di是所希望的響應(yīng)。

我們通過下降梯度求到ε的最小值。為了計(jì)算下降梯度，先計(jì)算“權(quán)空間”中ε的梯度；然后把權(quán)向量沿此梯度的反方向(下山)移動(dòng)。

通常，我們傾向于先用Ξ中的一個(gè)成員，對(duì)其權(quán)值進(jìn)行調(diào)節(jié)后，再用Ξ中的另一個(gè)成員——一個(gè)運(yùn)用由已作標(biāo)號(hào)的輸入向量所組成的序列Σ的遞增訓(xùn)練過程。

一個(gè)單輸入向量X(當(dāng)所希望的輸出為d時(shí)引發(fā)輸出f)的平方差為：ε對(duì)權(quán)值的梯度為：

由于ε對(duì)W的依賴完全通過點(diǎn)積s＝X?W產(chǎn)生，故可用鏈?zhǔn)揭?guī)則（chainrule）書寫如下：

然后，因?yàn)椋?/p>

注意到：

這樣:問題：

在求f對(duì)s的偏導(dǎo)數(shù)時(shí)我們遇到一個(gè)問題。由于閾值函數(shù)的存在，TLU的輸出f對(duì)s而言不是連續(xù)可導(dǎo)的。點(diǎn)積中許多微小的變化根本無法改變f,而且f一發(fā)生變化就從1變成0或從0變成1。

解決方法之一——Widrow-Hoff程序（或Delta規(guī)則）：假設(shè)我們?cè)噲D通過調(diào)節(jié)權(quán)值從而使每個(gè)標(biāo)號(hào)為1的訓(xùn)練向量產(chǎn)生的點(diǎn)積精確地等于1，使每一個(gè)標(biāo)號(hào)為0的向量產(chǎn)生的點(diǎn)積正好等于-1。這里，f＝s，則增量平方差ε＝(d-f)2＝(d-s)2。這樣，梯度為：

把權(quán)向量沿梯度的反方向移動(dòng)，并把因數(shù)2融入學(xué)習(xí)率(learningrate)參數(shù)c，則權(quán)向量的新值為：當(dāng)(d-f)為正時(shí)，把一部分輸入向量加到權(quán)向量中去，這令點(diǎn)積變大而(d-f)變小;(d-f)為負(fù)時(shí)，從權(quán)向量中減去一部分輸入向量——?jiǎng)t產(chǎn)生相反效果。這一程序就是著名的Widrow-Hoff或Delta規(guī)則。

這一方法涉及用S型可求導(dǎo)函數(shù)，即所謂的“sigmoid”來替換閾值函數(shù)。常用的閾值函數(shù)為：這里s為輸入，f為輸出

解決方法之二——一般化Delta程序選擇這一sigmoid函數(shù)可得出如下偏導(dǎo)數(shù)：把此表達(dá)式代入，得：于是得到了下面的權(quán)變化規(guī)則，即“一般化Delta程序”：

Widrow—Hoff與一般化Delta的不同之處：

1)前者所希望的輸出d為l或-1，而后者為1或0；2)前者的實(shí)際輸出f等于點(diǎn)積s，而后者的f為sigmoid的輸出；3）由于sigmoid函數(shù)的存在，后者的表達(dá)式中多出了f(1-f)這一項(xiàng)。在一般化Delta程序中找到一組權(quán)值后，如有需要還可再閾值函數(shù)替換sigmoid函數(shù)。

3.2.6糾錯(cuò)程序在下面這種方法中，我們保留閾值不變(并不替換成sigmoid函數(shù))，而且僅當(dāng)TLU的響應(yīng)出錯(cuò)時(shí)(即當(dāng)(d-f)的值為1或-1時(shí))才調(diào)節(jié)權(quán)向量。這一程序稱為“糾錯(cuò)程序”。其改變權(quán)值的規(guī)則如下：當(dāng)然，這一改變是趨向于糾正錯(cuò)誤的(也許能徹底糾正錯(cuò)誤，這依賴于學(xué)習(xí)率參數(shù)c的值)。這一規(guī)則與Widrow-hoff的區(qū)別是：前者的d和f的值為0或1，而后者的d為1或-1，且f=s為點(diǎn)積的值。示例：習(xí)題：3.3神經(jīng)網(wǎng)絡(luò)3.3.1動(dòng)機(jī)實(shí)際存在許多單TLU學(xué)不會(huì)的S一R集合(這些訓(xùn)練集合可能是線性不可分的)。這種情況下，TLU網(wǎng)絡(luò)卻可以給出正確的響應(yīng)。由TLU網(wǎng)絡(luò)執(zhí)行的函數(shù)不僅依賴于其拓?fù)?，而且依賴于單TLU的權(quán)值?！扒跋蚓W(wǎng)絡(luò)(feedforwardnetworks)”沒有循環(huán)：在此網(wǎng)絡(luò)中，任一TLU的輸入并不(通過0個(gè)或多個(gè)中間TLU)依賴于這一TLU的輸出(不具前向性的網(wǎng)絡(luò)稱為“遞歸網(wǎng)絡(luò)(recurrentnetwork)”。若用層來組織前向網(wǎng)絡(luò)中的TLU，且層j的組件只接受來自j-l的TLU的輸入，那么，我們稱這樣的網(wǎng)絡(luò)為“分層前向網(wǎng)絡(luò)(layeredfeedforwardnertwork)”。

例：圖中的網(wǎng)絡(luò)執(zhí)行函數(shù)：(稱為“偶校驗(yàn)(even-parity)”函數(shù))，這是一個(gè)有兩個(gè)層的(具有權(quán)值)分層前向網(wǎng)絡(luò)(有些人在計(jì)算TLU層個(gè)數(shù)時(shí)，把輸入也算作一層，因此，他們會(huì)稱此圖中的網(wǎng)絡(luò)為三層網(wǎng)絡(luò))，除了在最后一層中的單元，其他所有的單元稱為“隱藏單元(hiddenunit)”。3.3.2表示符號(hào)

K層sigmoid單元網(wǎng)絡(luò)：經(jīng)計(jì)算推導(dǎo)可得：其中：我們能夠計(jì)算出基數(shù)：

3.4一般化、準(zhǔn)確度和過度擬合

當(dāng)一個(gè)網(wǎng)絡(luò)可對(duì)不屬于訓(xùn)練集合的向量進(jìn)行正確的分類時(shí)，就稱之為“一般化(generalize)”網(wǎng)絡(luò)。一般化能力由其歸類的準(zhǔn)確度來衡量。

一個(gè)神經(jīng)網(wǎng)絡(luò)計(jì)算出其輸入的一個(gè)復(fù)雜的非線性函數(shù)。如果對(duì)這些輸入的歸類實(shí)際上是某一函數(shù)，這個(gè)函數(shù)與由網(wǎng)絡(luò)執(zhí)行的函數(shù)組中的某一個(gè)十分接近，同時(shí)，如果一個(gè)已經(jīng)訓(xùn)練的網(wǎng)絡(luò)對(duì)訓(xùn)練數(shù)據(jù)的擬合十分貼切——那么，對(duì)于大量輸入來說，這一訓(xùn)練過程很可能挖掘出了輸入與歸類之間隱含的函數(shù)關(guān)系。這樣的話，將能對(duì)新輸入很好地一般化。訓(xùn)練輸入向量的數(shù)量應(yīng)當(dāng)比網(wǎng)絡(luò)的自由度的數(shù)量(即可變權(quán)值的數(shù)量)大，這一點(diǎn)十分重要。

曲線擬合

誤差率估計(jì)：方法之一：

最簡單的技術(shù)就是把有待訓(xùn)練的輸入向量分為兩個(gè)互不相交的集合，然后用其中一個(gè)集合來進(jìn)行訓(xùn)練，稱之為“訓(xùn)練集合(trainingset)”。訓(xùn)練完畢，用另一個(gè)集合來估量抽樣誤差率，稱之為“檢驗(yàn)集合”。若兩個(gè)集合中的向量的數(shù)量均很多，那么，檢驗(yàn)集合所得出的誤差率就是對(duì)一般化準(zhǔn)確度的合理估量(當(dāng)然，它常常高估了實(shí)際的抽樣誤差率。為什么?)。有經(jīng)驗(yàn)的設(shè)計(jì)者會(huì)把2/3的可變向量歸入訓(xùn)練集合，而另外1/3則歸入檢驗(yàn)集合。

誤差率估計(jì)：方法之二：

另一種流行的估量一般化準(zhǔn)確度的方法稱為“交叉檢驗(yàn)(crossvalidation)”。這種方法把有待訓(xùn)練的向量分成k(通常k為10)個(gè)互不相交的子集，即所謂的“fold”。然后，選其中一個(gè)fold作為檢