神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新_第1頁
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新_第2頁
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新_第3頁
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新_第4頁
神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新_第5頁
已閱讀5頁,還剩92頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識本章將闡述,作為“智能”物質(zhì)基礎(chǔ)的大腦是如何構(gòu)成和如何工作的?在構(gòu)造新型智能信息處理系統(tǒng)時,可以從中得到什么啟示?2.1 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 2.2 人工神經(jīng)元模型 2.3 人工神經(jīng)網(wǎng)絡(luò)模型 2.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 本章小結(jié) 2.1 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明,神經(jīng)元(Neuron)是腦組織的基本單元,是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。 據(jù)估計(jì),人類大腦大約包含有1.41011個神經(jīng)元,每個神經(jīng)元與大約103105個其他神經(jīng)元相連接,構(gòu)成了一個龐大而復(fù)雜的網(wǎng)絡(luò),即生物神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱,按照外部的激勵信號作自適應(yīng)變化而

2、每個神經(jīng)元又隨著所接受的多個激勵信號的綜合結(jié)果呈現(xiàn)出興奮與抑制狀態(tài)。 大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息作自適應(yīng)變化的過程,大腦處理信息的結(jié)果是由各神經(jīng)元狀態(tài)的整體效果來確定。顯然,神經(jīng)元是人腦信息處理系統(tǒng)的最小單元。 2.1.1 生物神經(jīng)元的結(jié)構(gòu)人腦中神經(jīng)元的形態(tài)不盡相同,功能也有差異,但從組成結(jié)構(gòu)來看,各種神經(jīng)元是有共性的。 圖2.1給出一個典型神經(jīng)元的基本結(jié)構(gòu)和與其他神經(jīng)元發(fā)生連接的簡化示意圖。 神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體、樹突、軸突和突觸四部分組成。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)一)(1)細(xì)胞體(Cell body) 細(xì)胞體是神經(jīng)元的主體,由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)

3、成。細(xì)胞核占據(jù)細(xì)胞體的很大一部分,進(jìn)行著呼吸和新陳代謝等許多生化過程。細(xì)胞體的外部是細(xì)胞膜,將膜內(nèi)外細(xì)胞液分開。由于細(xì)胞膜對細(xì)胞液中的不同離子具有不同的通透性,使得膜內(nèi)外存在著離子濃度差,從而出現(xiàn)內(nèi)負(fù)外正的靜息電位。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)二)(2)樹突(Dendrite) 從細(xì)胞體向外延伸出許多突起的神經(jīng)纖維, 其中大部分突起較短,其分支多群集在細(xì)胞體附近形成灌木叢狀,這些突起稱為樹突。神經(jīng)元靠樹突接受來自其他神經(jīng)元的輸入信號,相當(dāng)于細(xì)胞體的輸入端。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)三)(3)軸突(Axon) 由細(xì)胞體伸出的最長的一條突起稱為軸突,軸突比樹突長而細(xì),用來傳出細(xì)胞體產(chǎn)生的

4、輸出電化學(xué)信號。軸突也稱神經(jīng)纖維, 其分支傾在神經(jīng)纖維終端處長出, 這些細(xì)的分支稱為軸突末梢或神經(jīng)末梢。神經(jīng)末梢可以向四面八方傳出信號, 相當(dāng)于細(xì)胞體的輸出。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)四)(4)突觸(Synapse) 神經(jīng)元之間通過一個神經(jīng)元的軸突末梢和其他神經(jīng)元的細(xì)胞體或樹突進(jìn)行通信連接,這種連接相當(dāng)于神經(jīng)元之間的輸入輸出接口,稱為突觸。突觸包括突觸前、突觸間隙和突觸后三個部分。突觸前是第一個神經(jīng)元的軸突末梢部分, 突觸后是指第二個神經(jīng)元的樹突或細(xì)胞體等受體表面。突觸在軸突末梢與其他神經(jīng)元的受體表面相接觸的地方有1550nm(納米10-9m)的間隙, 稱為突觸間隙,在電學(xué)上把兩者斷開,

5、 見圖2.2。每個神經(jīng)元大約有103105個突觸, 多個神經(jīng)元以突觸連接即形成神經(jīng)網(wǎng)絡(luò)。 2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)五)2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)六)突觸2.1.2 生物神經(jīng)元的信息處理機(jī)理在生物神經(jīng)元中,突觸為輸入輸出接口,樹突和細(xì)胞體為輸入端,接受來自突觸點(diǎn)的輸入信號;細(xì)胞體相當(dāng)于一個微型處理器,對各樹突和細(xì)胞體各部位收到的來自其他神經(jīng)元的輸入信號進(jìn)行組合,并在一定條件下觸發(fā),產(chǎn)生輸出信號;輸出信號沿軸突傳至末梢,軸突末梢作為輸出端通過突觸將這一輸出信號傳向其他神經(jīng)元的樹突和細(xì)胞體。下面對生物神經(jīng)元之間接受、產(chǎn)生、傳遞和處理信息的機(jī)理進(jìn)行分析。 2.1.2.1 信息的產(chǎn)生(1/

6、3)研究認(rèn)為,神經(jīng)元之間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。由于細(xì)胞膜本身對不同離子具有不同的通透性,從而造成膜內(nèi)外細(xì)胞液中的離子存在濃度差。神經(jīng)元在無信號輸入時,其細(xì)胞膜內(nèi)外因離子濃度差而造成的電位差為 -70mV(毫伏,內(nèi)負(fù)外正)左右,稱為靜息電位,此時細(xì)胞膜的狀態(tài)稱為極化狀態(tài)(Polarization),神經(jīng)元的狀態(tài)為靜息狀態(tài)。當(dāng)神經(jīng)元受到外界的刺激時,如果膜電位從靜息電位向正偏移,稱之為去極化(Depolarization),此時神經(jīng)元的狀態(tài)為興奮狀態(tài);如果膜電位從靜息電位向負(fù)偏移,稱之為超級化(Hyper polarization),此時神經(jīng)元的狀態(tài)為抑制狀態(tài)。2.1.2.1 信

7、息的產(chǎn)生(2/3)神經(jīng)元細(xì)胞膜的去極化和超極化程度反映了神經(jīng)元興奮和抑制的強(qiáng)烈程度。在某一給定時刻,神經(jīng)元總是處于靜息、興奮和抑制三種狀態(tài)之一。神經(jīng)元中信息的產(chǎn)生與興奮程度相關(guān),在外界刺激下,當(dāng)神經(jīng)元的興奮程度超過了某個限度,也就是細(xì)胞膜去極化程度超過了某個電位時,神經(jīng)元被激發(fā)而輸出神經(jīng)脈沖。神經(jīng)脈沖產(chǎn)生的經(jīng)過如下:以靜息膜電位為基準(zhǔn)(-70mV), 當(dāng)膜電位高出15mV, 即超過閥值電位(-55mV)時, 該神經(jīng)細(xì)胞變成活性細(xì)胞,其膜電位自發(fā)地急速升高, 在1ms內(nèi)比靜息膜電位上升100mV (+30mV)左右, 此后膜電位又急速下降, 回到靜息時的值。2.1.2.1 信息的產(chǎn)生(3/3)

8、這一過程稱作細(xì)胞的興奮過程, 興奮的結(jié)果產(chǎn)生一個寬度為1ms,振幅為100mV的電脈沖, 又稱神經(jīng)沖動, 如圖2.3所示。值得注意的是, 當(dāng)細(xì)胞體產(chǎn)生一個電脈沖后, 即使受到很強(qiáng)的刺激, 也不會立刻產(chǎn)生興奮。這是因?yàn)樯窠?jīng)元發(fā)放電脈沖時,暫時性閥值急速升高,持續(xù)1ms后慢慢下降到-55mV這一正常狀態(tài),這段時間約為數(shù)毫秒,稱為不應(yīng)期。不應(yīng)期結(jié)束后,若細(xì)胞受到很強(qiáng)的刺激,則再次產(chǎn)生興奮性電脈沖。由此可見,神經(jīng)元產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動。各脈沖的寬度和幅度相同,而脈沖的間隔是隨機(jī)變化的。某神經(jīng)元的輸入脈沖密度越大,其興奮程度越高,在單位時間內(nèi)產(chǎn)生的脈沖串的平均頻率也越高。 2.1.2.2

9、 信息的傳遞與接收(1/3)神經(jīng)脈沖信號沿軸突傳向其末端的各個分支,在軸突的末端觸及突觸前時,突觸前的突觸小泡能釋放一種化學(xué)物質(zhì),稱為遞質(zhì)。在前一個神經(jīng)元發(fā)放脈沖并傳到其軸突末端后,這種遞質(zhì)從突觸前膜釋放出,經(jīng)突觸間隙的液體擴(kuò)散,在突觸后膜與特殊受體相結(jié)合。受體的性質(zhì)決定了遞質(zhì)的作用是興奮的還是抑制的,并據(jù)此改變后膜的離子通透性,從而使突觸后膜電位發(fā)生變化。根據(jù)突觸后膜電位的變化,可將突觸分為兩種:興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加而向正電位方向增大,抑制性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加向更負(fù)電位方向變化。2.1.2.2 信息的傳遞與接收(2/3)

10、從化學(xué)角度看:當(dāng)興奮性化學(xué)遞質(zhì)傳送到突觸后膜時,后膜對離子通透性的改變使流入細(xì)胞膜內(nèi)的正離子增加,從而使突觸后成分去極化,產(chǎn)生興奮性突觸后電位;當(dāng)抑制性化學(xué)遞質(zhì)傳送到突觸后膜時,后膜對離子通透性的改變使流出細(xì)胞膜外的正離子增加,從而使突觸后成分超極化,產(chǎn)生抑制性突觸后電位。當(dāng)突觸前膜釋放的興奮性遞質(zhì)使突觸后膜的去極化電位超過了某個閥電位時,后一個神經(jīng)元就有神經(jīng)脈沖輸出從而把前一神經(jīng)元的信息傳遞給了后一神經(jīng)元(圖2.4)。2.1.2.2 信息的傳遞與接收(3/3)神經(jīng)遞質(zhì)產(chǎn)生 神經(jīng)電脈沖 神經(jīng)遞質(zhì)釋放 遞質(zhì)與受體結(jié)合 電生理反映突觸間隙突觸前突觸后圖2-4 突觸信息傳遞過程前一個神經(jīng)元后一個神經(jīng)

11、元2.1.2.2 信息的傳遞與接收從脈沖信號到達(dá)突觸前膜,到突觸后膜電位發(fā)生變化, 有0.21ms的時間延遲, 稱為突觸延遲(synaptic delay),這段延遲是化學(xué)遞質(zhì)分泌、向突觸間隙擴(kuò)散、到達(dá)突觸后膜并在那里發(fā)生作用的時間總和。由此可見,突觸對神經(jīng)沖動的傳遞具有延時作用。在人腦中,神經(jīng)元間的突觸聯(lián)系大部分是在出生后由于給予刺激而成長起來的。外界刺激性質(zhì)不同,能夠改變神經(jīng)元之間的突觸聯(lián)系,即突觸后膜電位變化的方向與大小。從突觸信息傳送的角度看,表現(xiàn)為放大倍數(shù)和極性的變化。正是由于各神經(jīng)元之間的突觸連接強(qiáng)度和極性有所不同并可進(jìn)行調(diào)整,因此人腦才具有學(xué)習(xí)和存儲信息的功能。2.1.2.3 信

12、息的整合(1/2) 神經(jīng)元對信息的接受和傳送都是通過突觸來進(jìn)行的。單個神經(jīng)元可以與多達(dá)上千個其他神經(jīng)元的軸突末梢形成突觸連接,接受從各個軸突傳來的脈沖輸入。這些輸入可到達(dá)神經(jīng)元的不同部位,輸入部位不同,對神經(jīng)元影響的權(quán)重也不同。在同一時刻產(chǎn)生的刺激所引起的膜電位變化,大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。這種累加求和稱為空間整合。另外,各輸入脈沖抵達(dá)神經(jīng)元的先后時間也不一樣。由一個脈沖引起的突觸后膜電位很小,但在其持續(xù)時間內(nèi)有另一脈沖相繼到達(dá)時,總的突觸后膜電位增大。這種現(xiàn)象稱為時間整合。2.1.2.3 信息的整合(2/2) 一個神經(jīng)元的輸入信息在時間和空間上常呈現(xiàn)一種復(fù)雜多變的形式,神

13、經(jīng)元需要對它們進(jìn)行積累和整合加工,從而決定其輸出的時機(jī)和強(qiáng)弱。正是神經(jīng)元的這種時空整合作用,才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中可以有條不紊、夜以繼日地處理著各種復(fù)雜的信息,執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。2.1.2.4 生物神經(jīng)網(wǎng)絡(luò)(1/2) 由多個生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò),它是一種更為靈巧、復(fù)雜的生物信息處理系統(tǒng)。研究表明,每一個生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)均是一個有層次的、多單元的動態(tài)信息處理系統(tǒng),它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制,以接受生物內(nèi)外環(huán)境的輸入信息,加以綜合分析處理,然后調(diào)節(jié)控制機(jī)體對環(huán)境做出適當(dāng)反應(yīng)。生物神經(jīng)網(wǎng)絡(luò)的功能不是單個神經(jīng)元信息處理功能的簡單

14、疊加。每個神經(jīng)元都有許多突觸與其他神經(jīng)元連接,任何一個單獨(dú)的突觸連接都不能完全表現(xiàn)一項(xiàng)信息。只有當(dāng)它們集合成總體時,才能對刺激的特殊性質(zhì)給出明確的答復(fù)。由于神經(jīng)元之間突觸連接方式和連接強(qiáng)度的不同并且具有可塑性,神經(jīng)網(wǎng)絡(luò)在宏觀上呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。 2.1.2.4 生物神經(jīng)網(wǎng)絡(luò)(2/2) CEREBRAL CORTEX-大腦皮層神經(jīng)細(xì)胞的定義神經(jīng)細(xì)胞是高等動物神經(jīng)系統(tǒng)的結(jié)構(gòu)單位和功能單位,又被稱為神經(jīng)元(neuron)。神經(jīng)系統(tǒng)中含有大量的神經(jīng)元,據(jù)估計(jì),人類中樞神經(jīng)系統(tǒng)中約含1000億個神經(jīng)元,僅大腦皮層中就約有140億。神經(jīng)細(xì)胞描述:神經(jīng)細(xì)胞呈三角形或多角形,可以分為樹突、軸

15、突和胞體這三個區(qū)域。附件附件神經(jīng)細(xì)胞的功能神經(jīng)元的基本功能是通過接受、整合、傳導(dǎo)和輸出信息實(shí)現(xiàn)信息交換。腦是由神經(jīng)元構(gòu)成的,神經(jīng)元群通過各個神經(jīng)元的信息交換,實(shí)現(xiàn)腦的分析功能,進(jìn)而實(shí)現(xiàn)樣本的交換產(chǎn)出。產(chǎn)出的樣本通過聯(lián)結(jié)路徑點(diǎn)亮丘覺產(chǎn)生意識。 附件丘覺是我們通過遺傳獲得的意思結(jié)構(gòu),這些意思是丘腦核團(tuán)的神經(jīng)元本身蘊(yùn)含的,并能夠自由合成發(fā)放或被樣本點(diǎn)亮發(fā)放出來。丘覺平時處于潛伏狀態(tài),自由合成或被點(diǎn)亮?xí)r意思才能發(fā)放出來,形成意識。丘覺是不能通過學(xué)習(xí)獲得的,丘覺具有遺傳性和聯(lián)結(jié)性,丘覺的性質(zhì)也就決定了意識的性質(zhì)。 附件附件腦細(xì)胞的特征腦細(xì)胞一旦發(fā)育完成后,再也不會增殖。人的一生就只有出生時那個數(shù)目的腦細(xì)

16、胞可供利用,大約120億個。骨骼、肝臟、肌肉等其它器官或組織損傷后可因細(xì)胞分裂增殖很快得以恢復(fù),唯獨(dú)腦細(xì)胞不可再生。目前,科學(xué)界尚沒有更好的辦法能夠改變腦細(xì)胞不可再生這一特性。 腦細(xì)胞處在一種連續(xù)不斷地死亡且永不復(fù)生增殖的過程,死一個就少一個,直至消亡殆盡。人到20歲左右,腦細(xì)胞發(fā)育的速度達(dá)到巔峰,此時不僅精力充沛,而且記憶力好,是一生中的黃金季節(jié),越過此峰,便是下坡。20歲過后,若這些細(xì)胞放置在那里而不使用的話,會以每天10萬個的數(shù)量變成廢品。拿80歲的人和40歲的人相比較,前者比后者大約減少了一半,相差一倍左右,這已被科學(xué)所證實(shí)。 附件腦細(xì)胞的特征腦細(xì)胞按其成熟度可分為三種類型:一類是已經(jīng)

17、充分發(fā)展了的腦細(xì)胞,其成熟度最高,每個細(xì)胞有多達(dá)二萬余條線路與其它的細(xì)胞有業(yè)務(wù)聯(lián)系。這部分細(xì)胞為處于工作狀態(tài)的精英。 另一類是未充分發(fā)展的腦細(xì)胞,其成熟度相對較低,每個細(xì)胞一般只有幾十條線路與其它腦細(xì)胞聯(lián)絡(luò),我們稱這部分腦細(xì)胞是處于半抑制狀態(tài)。 第三類是完全沒有發(fā)展的原始狀態(tài)的腦細(xì)胞,這部分腦細(xì)胞既不馬上死亡,也不參與工作,處于休閑狀態(tài)。我們稱其為處于完全抑制狀態(tài)或沉睡狀態(tài)的腦細(xì)胞。 人腦大約有120億個腦細(xì)胞,最多不到10%是充分發(fā)展了的并常加以運(yùn)用的,其余的仍處在未充分發(fā)展或完全沒有發(fā)展的原始狀態(tài)。 附件腦細(xì)胞的特征腦細(xì)胞彼此間聯(lián)絡(luò)的線路絕大多數(shù)在人出生后,受到外界環(huán)境的刺激而逐步發(fā)展形成

18、的。腦細(xì)胞聯(lián)絡(luò)線路越多,就越能發(fā)揮各細(xì)胞彼此之間的分工合作,人就越聰明,智商就越高。神經(jīng)細(xì)胞的數(shù)量,出生時有多少以后就有多少,不能增加。神經(jīng)細(xì)胞是有壽命的,腦細(xì)胞死一個就少一個、衰老便不由人愿了,可見“笑一笑十年少,愁一愁白了頭”是有些道理的。 附件2.2 人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反映人腦某些特性的計(jì)算結(jié)構(gòu)。它不是人腦神經(jīng)系統(tǒng)的真實(shí)描寫,而只是人腦神經(jīng)系統(tǒng)的某種抽象、簡化和模擬。根據(jù)前面對生物神經(jīng)網(wǎng)絡(luò)的介紹可知,神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此,模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中,神經(jīng)元常被稱為“處理單元”。人工神經(jīng)

19、元是對生物神經(jīng)元的一種形式化描述;人工神經(jīng)元是對生物神經(jīng)元的信息處理過程進(jìn)行抽象,并用數(shù)學(xué)語言予以描述;人工神經(jīng)元是對生物神經(jīng)元的結(jié)構(gòu)和功能進(jìn)行模擬,并用模型圖予以表達(dá)。 2.2.1 神經(jīng)元的建摸(1/6) 目前人們提出的神經(jīng)元模型已有很多,其中最早提出且影響最大的是M-P模型( 1943年由心理學(xué)家McCulloch和數(shù)學(xué)家WPitts首先提出的)。該模型經(jīng)過不斷改進(jìn)后,形成目前應(yīng)用廣泛的一種神經(jīng)元模型。關(guān)于神經(jīng)元的信息處理機(jī)制,該模型在簡化的基礎(chǔ)上提出以下6點(diǎn)假定:1、是一個多輸入單輸出的信息處理單元;2、突觸分興奮性和抑制性兩種類型;3、神經(jīng)元具有空間整合特性和閥值特性;4、輸入與輸出間

20、有固定的時滯,取決于突觸延擱;5、忽略時間整合作用和不應(yīng)期;6、神經(jīng)元本身是非時變的,即其突觸時延和突觸強(qiáng)度均為常數(shù)。2.2.1 神經(jīng)元的建摸 (2/6)上述假定,可用圖2.5中的神經(jīng)元模型示意圖進(jìn)行圖解表示。2.2.1 神經(jīng)元的建摸 (3/6)如生物神經(jīng)元有許多激勵輸入一樣,人工神經(jīng)元也應(yīng)該有許多的輸入信號。圖中用xi ( i=1, 2, , n )表示輸入數(shù)值的大小,它們同時輸入神經(jīng)元j。 jx1xixnwnjwijw1j2.2.1 神經(jīng)元的建摸(4/6) 生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度,其影響是使有些輸入的作用比另外一些輸入更為重要。對模擬神經(jīng)元的每一個輸入都有一個加權(quán)系數(shù)wij

21、,稱為權(quán)重值,其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制,其大小則代表了突觸的不同連接強(qiáng)度。 jx1xixn2.2.1 神經(jīng)元的建摸(5/6) 作為基本處理單元,必須對全部輸入信號進(jìn)行整合,以確定各類輸入的作用總效果,組合表示輸入信號的“總和值”,相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元是否激活,決于某一閾值電平,即只有當(dāng)其輸入總和超過閾值時,神經(jīng)元才被激活而發(fā)出脈沖,否則神經(jīng)元不會產(chǎn)生輸出信號。 wnjwijw1jjx1xixnfoj2.2.1 神經(jīng)元的建摸(6/6) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個,如用oj表示神經(jīng)元j輸出。輸出與輸入之間的對應(yīng)關(guān)系可用某種函數(shù)來表示,這種函數(shù)稱為轉(zhuǎn)移函數(shù)

22、,一般都是非線性的。 wnjwijw1jjx1xixn2.2.2 神經(jīng)元的數(shù)學(xué)模型(1/6)我們用一個數(shù)學(xué)表達(dá)式對上述內(nèi)容可進(jìn)行抽象與概括。令xi(t)表示t時刻神經(jīng)元j接收的來自神經(jīng)元i的信息輸入,oj(t)表示t時刻神經(jīng)元的信息輸出,則神經(jīng)元j的狀態(tài)可表達(dá)為式中 ij 輸入i輸出j間的突觸延時; Tj 神經(jīng)元j的閾值; wij 神經(jīng)元i到j(luò)的突觸連接系數(shù)值; f( ) 神經(jīng)元轉(zhuǎn)移函數(shù)。2.2.2 神經(jīng)元的數(shù)學(xué)模型(2/6)為簡單起見,將上式中的突觸延時取為單位時間,則式(2.1)可寫為 上式描述的神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2

23、、突觸分興奮性和抑制性; (wij可正可負(fù)、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應(yīng)期; 6、非時變,即突觸時延和突觸強(qiáng)度為常數(shù)。2.2.2 神經(jīng)元的數(shù)學(xué)模型(3/6)輸入總和常稱為神經(jīng)元在t時刻的凈輸入,用 當(dāng)netjTj時,神經(jīng)元j才能被激活。 oj(t+1)與xi(t)之間的單位時間差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律,wij與時間無關(guān)。為簡便起見,后面用到式(2.3)和(2.3)時,常將其中的(t+1)和 (t)省略。 2.2.2 神經(jīng)元的數(shù)學(xué)模型(4/6)式(2.3)還可表示為權(quán)重向量和輸入向量的點(diǎn)積

24、其中 Wj 和 X 均為列向量,定義為2.2.2 神經(jīng)元的數(shù)學(xué)模型(5/6)如果令x0=-1,w0j=Tj,則有-Tj=w0jx0,因此凈輸入和閾值之差可表示為: 式(2.4)中列向量和的第一個分量的下標(biāo)均從1開始, 而式(2.5)中則從0開始。 2.2.2 神經(jīng)元的數(shù)學(xué)模型(6/6)采用式(2.5)的約定后, 凈輸入改寫為net, 與原來的區(qū)別是包含了閾值。綜合以上各式, 神經(jīng)元模型可簡化為x0=-1x1xixnw0j=Tjfojwnjwijw1jj-Tj=w0jx02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù),從而使神經(jīng)元具有不同的信息處理特性。神

25、經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一,因此轉(zhuǎn)移函數(shù)的研究具有重要意義。神經(jīng)元的轉(zhuǎn)移函數(shù)反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系,最常用的轉(zhuǎn)移函數(shù)有以下4種形式。(1)閾值型轉(zhuǎn)移函數(shù) (2)非線性轉(zhuǎn)移函數(shù) (3)分段線性轉(zhuǎn)移函數(shù) (4)概率型轉(zhuǎn)移函數(shù) 2.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 閾值型轉(zhuǎn)移函數(shù)采用了圖2.6的單位階躍函數(shù),用下式定義 具有這一轉(zhuǎn)移函數(shù)的神經(jīng)元稱為閾值型神經(jīng)元,這是神經(jīng)元模型中最簡單的一種,經(jīng)典的M-P模型就屬于這一類。函數(shù)中的自變量x代表netj-Tj,即當(dāng)netj=Tj時,神經(jīng)元為興奮狀態(tài),輸出為1;當(dāng)時netjTj ,神經(jīng)元為抑制狀態(tài)

26、,輸出為0。xf(x)1.0 xf(x)1.0-1.02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(2)非線性轉(zhuǎn)移函數(shù) 非線性轉(zhuǎn)移函數(shù)為實(shí)數(shù)域R到0,1閉集的非減連續(xù)函數(shù),代表了狀態(tài)連續(xù)型神經(jīng)元模型。S型函數(shù)曲線特點(diǎn)見圖2.7。最常用的非線性轉(zhuǎn)移函數(shù)是單極性Sigmoid函數(shù)曲線,簡稱S型函數(shù),其特點(diǎn)是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的,因而在處理上十分方便。單極性S型函數(shù)定義如下 有時也常采用雙極性S型函數(shù)(即雙曲正切)等形式圖2-7 S型轉(zhuǎn)移函數(shù)f(x)0.51.0 xf(x)0.51.0 xf(x)1.0 x-1.02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(3)分段線性轉(zhuǎn)移函數(shù) 該函數(shù)特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿

27、足線性關(guān)系。由于具有分段線性的特點(diǎn),因而在實(shí)現(xiàn)上比較簡單。這類函數(shù)也稱為偽線性函數(shù),表達(dá)式如下圖2.8給出該函數(shù)曲線。圖2-8 分段線性轉(zhuǎn)移函數(shù)xf(x)1.0 xc2.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(4)概率型轉(zhuǎn)移函數(shù) 采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的,需采用一個隨機(jī)函數(shù)來描述輸出狀態(tài)為1或?yàn)?的概率。設(shè)神經(jīng)元輸出為1的概率為式中,T稱為溫度參數(shù)。由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼(Boltzmann)分布相類似,因此這種神經(jīng)元模型也稱為熱力學(xué)模型。(2.12)作業(yè)2.1 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的?2.2 若權(quán)值

28、只能按1或-1變化,對神經(jīng)元的學(xué)習(xí)有何影響?試舉例說明。補(bǔ)充題:請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。fojwnjwijw1jjx1xixn神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2、突觸分興奮性和抑制性; (wij可正可負(fù)、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應(yīng)期; 6、非時變,即突觸時延和突觸強(qiáng)度為常數(shù)。2.3 人工神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)由數(shù)以億計(jì)的生物神經(jīng)元連接而成,而人工神經(jīng)網(wǎng)絡(luò)限于物理實(shí)現(xiàn)的困難和為了計(jì)算簡便,是由相對少量的神經(jīng)元按一定規(guī)律構(gòu)成的網(wǎng)絡(luò)

29、。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點(diǎn)或處理單元,每個節(jié)點(diǎn)均具有相同的結(jié)構(gòu),其動作在時間上同步。人工神經(jīng)網(wǎng)絡(luò)的模型很多,可以按照不同的方法進(jìn)行分類。其中常見的兩種分類方法是,按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。2.3.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型根據(jù)神經(jīng)元之間的連接方式,可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類(層次型結(jié)構(gòu) 和互連型結(jié)構(gòu))。 2.3.1.1 層次型結(jié)構(gòu)(1/4)層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層,如輸入層、中間層(也稱為隱層)和輸出層,各層順序相連,如圖2.9所示。圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)輸出層中間層(也稱隱層)輸入層圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)輸出層中間層(也稱隱層)輸入

30、層2.3.1.1 層次型結(jié)構(gòu)(2/4)輸入層各神經(jīng)元負(fù)責(zé)接受來自外界的輸入信息,并傳遞給中間各隱層神經(jīng)元;隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層,負(fù)責(zé)信息變換,根據(jù)信息變換能力的需要,隱層可設(shè)計(jì)為一層或多層;最后一個隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)近一步處理后,即完成一次從輸入到輸出的信息處理,由輸出層向外界(如執(zhí)行機(jī)構(gòu)或顯示設(shè)備)輸出信息處理結(jié)果。2.3.1.1 層次型結(jié)構(gòu)(3/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (1)單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 如圖2.9所示,神經(jīng)元分層排列,各層神經(jīng)元接受前一層輸入并輸出到下一層,層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連接通路。圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)2.3.1.

31、1 層次型結(jié)構(gòu)(3/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (2)輸出層到輸入層有連接的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖2.10所示,輸出層到輸入層有連接路徑。輸入層神經(jīng)元既可接受輸入,也具有信息處理功能。2.3.1.1 層次型結(jié)構(gòu)(4/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (3)層內(nèi)有互連的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖2.11所示,這種結(jié)構(gòu)的特點(diǎn)是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用,使得能同時激活的神經(jīng)元個數(shù)可控,以實(shí)現(xiàn)各層神經(jīng)元的自組織。2.3.1.2 互連型結(jié)構(gòu)(1/2)對于互連型網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)中任意兩個節(jié)點(diǎn)之間都可能存在連接路徑,因此根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的互連程度將互連型網(wǎng)絡(luò)結(jié)構(gòu)細(xì)分為3種情況。(1)全互連型

32、網(wǎng)絡(luò)中的每個節(jié)點(diǎn)均與所有其他節(jié)點(diǎn)連接,如圖2.12所示。2.3.1.2 互連型結(jié)構(gòu)(2/2)(2)局部互連型 網(wǎng)絡(luò)中的每個節(jié)點(diǎn)只與其鄰近的節(jié)點(diǎn)有連接,如圖2.13所示。(3)稀疏連接型 網(wǎng)絡(luò)中的節(jié)點(diǎn)只與少數(shù)相距較遠(yuǎn)的節(jié)點(diǎn)相連。2.3.2 網(wǎng)絡(luò)信息流向類型從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分,可分為兩種類型:前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。 2.3.2.1 前饋型網(wǎng)絡(luò)(1/2)單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.9中所示的分層網(wǎng)絡(luò)完全相同,前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行而得名。從信息處理能力看,網(wǎng)絡(luò)中的節(jié)點(diǎn)可分為兩種:一種是輸入節(jié)點(diǎn),只負(fù)責(zé)引入信息后向前傳遞給第一隱層;另一種是具有處理

33、能力的節(jié)點(diǎn),包括各隱層和輸出層節(jié)點(diǎn)。2.3.2.1 前饋型網(wǎng)絡(luò)(2/2)在前饋型網(wǎng)絡(luò)中,一層的輸出是下一層的輸入,信息的處理具有逐層傳遞進(jìn)行的方向性,一般不存在反饋環(huán)路。這類前饋型網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。多層前饋網(wǎng)絡(luò)可以看成是一個有向無環(huán)路的網(wǎng)絡(luò)。其中輸入層記為網(wǎng)絡(luò)的第一層,第一個隱層記為網(wǎng)絡(luò)的第二層,其余類推。所以,當(dāng)提到具有單層計(jì)算神經(jīng)元的網(wǎng)絡(luò)時,指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)(輸入層和輸出層),當(dāng)提到具有單隱層的網(wǎng)絡(luò)時,指的應(yīng)是一個三層前饋網(wǎng)絡(luò)(輸入層、隱層和輸出層)。2.3.2.2 反饋型網(wǎng)絡(luò)單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.12中的網(wǎng)絡(luò)結(jié)構(gòu)完全相同,稱為反饋網(wǎng)絡(luò)是指其信息流向的特

34、點(diǎn)。在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能,而且每個節(jié)點(diǎn)既可以從外界接受輸入,同時又可以向外界輸出。2.3.2.2 反饋型網(wǎng)絡(luò)單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.12中的網(wǎng)絡(luò)結(jié)構(gòu)完全相同,稱為反饋網(wǎng)絡(luò)是指其信息流向的特點(diǎn)。在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能,而且每個節(jié)點(diǎn)既可以從外界接受輸入,同時又可以向外界輸出。單層全互連結(jié)構(gòu)網(wǎng)絡(luò)是一種典型的反饋型網(wǎng)絡(luò),可以用圖2.14所示的完全的無向圖表示。以上介紹的人工神經(jīng)網(wǎng)絡(luò)模型的分類方法、結(jié)構(gòu)形式和信息流向只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象。 實(shí)際應(yīng)用的神經(jīng)網(wǎng)絡(luò),可能同時兼有其中一種或幾種形式。例如,從連接形式看,層次型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連;從信

35、息流向看,前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素,其特點(diǎn)可歸納為分布式存儲記憶與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。2.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓?fù)浣Y(jié)構(gòu)和突觸連接強(qiáng)度,即連接權(quán)值決定。神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個矩陣表示,其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對于所解決問題的知識存儲。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練,不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu),以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練,其本質(zhì)是對可變權(quán)值的動態(tài)調(diào)整。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素,因此有關(guān)學(xué)習(xí)的研

36、究在神經(jīng)網(wǎng)絡(luò)研究中具有重要地位。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法(亦稱訓(xùn)練規(guī)則或訓(xùn)練算法),如果只是單個處理單元,無論采用哪種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整,其算法都十分簡單。但當(dāng)大量處理單元集體進(jìn)行權(quán)值調(diào)整時,網(wǎng)絡(luò)就呈現(xiàn)出“智能”特性,其中有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣中。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多,根據(jù)一種廣泛采用的分類方法,可將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法歸納為三類:一是有導(dǎo)師學(xué)習(xí);二為無導(dǎo)師學(xué)習(xí);三是死記式學(xué)習(xí)。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)1、有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)督學(xué)習(xí),這種學(xué)習(xí)模式采用的是糾錯規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對地提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模

37、式,稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出進(jìn)行比較,當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號不符時,根據(jù)差錯的方向和大小按一定的規(guī)則調(diào)整權(quán)值,以使網(wǎng)絡(luò)的輸出更接近期望的輸出。對于有導(dǎo)師學(xué)習(xí),網(wǎng)絡(luò)在執(zhí)行工作任務(wù)之前必須先學(xué)習(xí)訓(xùn)練,當(dāng)網(wǎng)絡(luò)輸入均能產(chǎn)生所期望的輸出時,即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會”了訓(xùn)練數(shù)據(jù)集中包含的知識和規(guī)則,可以用來進(jìn)行工作了。網(wǎng)絡(luò)工作時,網(wǎng)絡(luò)的權(quán)值不再調(diào)整。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2、無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)。在學(xué)習(xí)過程中,需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則,在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律,同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)

38、值,這個過程稱為網(wǎng)絡(luò)的自組織,其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動分類。在這種學(xué)習(xí)模式中,網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號的影響,可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。對于無導(dǎo)師學(xué)習(xí),網(wǎng)絡(luò)也是學(xué)習(xí)訓(xùn)練,后用來進(jìn)行工作。網(wǎng)絡(luò)工作時,網(wǎng)絡(luò)的權(quán)值不再調(diào)整。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí),哪種學(xué)習(xí)好了?在有導(dǎo)師學(xué)習(xí)中,提供給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的外部指導(dǎo)信息越多,神經(jīng)網(wǎng)絡(luò)學(xué)會并掌握的知識越多,解決問題的能力也就超強(qiáng)。但是,有時神經(jīng)網(wǎng)絡(luò)所解決的問題的先驗(yàn)信息很少,甚至沒有,這種情況下無導(dǎo)師學(xué)習(xí)就顯得更有實(shí)際意義。3、死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶特定的例子,在使用時,當(dāng)給定有關(guān)

39、該例子的輸入信息時,例子便被回憶起來。在死記式學(xué)習(xí)中,網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動,因此其學(xué)習(xí)是一次性的(設(shè)計(jì)),而不是一個訓(xùn)練過程。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和工作兩個階段。訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律,并存儲于網(wǎng)絡(luò)中供工作階段使用。 在訓(xùn)練時,可以認(rèn)為,一個神經(jīng)元是一個自適應(yīng)單元,其權(quán)值可以根據(jù)它所接受的輸入信號、它的輸出信號以及對應(yīng)的監(jiān)督信號(希望的輸出)進(jìn)行調(diào)整。一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則,如圖2.15表示。 2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)通用學(xué)習(xí)規(guī)則可表達(dá)為:權(quán)向量Wj在t時刻的調(diào)整量 Wj(t)與t時刻的輸入向量X(t)和學(xué)習(xí)信號r的乘

40、積成正比。用數(shù)學(xué)式表示為 式中,為正數(shù), 稱為學(xué)習(xí)常數(shù), 其值決定了學(xué)習(xí)速率, 也稱學(xué)習(xí)率。 圖中r=r(Wj, X,dj),代表學(xué)習(xí)信號,該信號通常是Wj和X的函數(shù),也是教師信號dj的函數(shù)。不同的學(xué)習(xí)規(guī)則,對r(Wj, X, dj)有不同的定義,從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則:下面對常用學(xué)習(xí)規(guī)則作一簡要介紹,其具體應(yīng)用將在后續(xù)各章中展開?;陔x散時間調(diào)整時,下一時刻的權(quán)向量應(yīng)為 2.4.1 Hebbian學(xué)習(xí)規(guī)則 2.4.2 Perceptron(感知器)學(xué)習(xí)規(guī)則 2.4.3 (Delta)學(xué)習(xí)規(guī)則 2.4.4 Widrow-Hoff學(xué)習(xí)規(guī)則 2.4.5 Correlation(相關(guān))學(xué)

41、習(xí)規(guī)則 2.4.6 Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)則 2.4.7 Outstar(外星)學(xué)習(xí)規(guī)則2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2.4.1 Hebbian學(xué)習(xí)規(guī)則(1/3)1949年,心理學(xué)家D. O. Hebb最早提出了關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的 “突觸修正” 的假設(shè)。該假設(shè)指出,當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時為正時,突觸傳導(dǎo)增強(qiáng),當(dāng)前膜電位與后膜電位正負(fù)相反時,突觸傳導(dǎo)減弱,也就是說,當(dāng)神經(jīng)元與神經(jīng)元同時處于興奮狀態(tài)時,兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法,稱為Hebbian學(xué)習(xí)規(guī)則。在Hebbian學(xué)習(xí)規(guī)則中, 學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出權(quán)向量的調(diào)整公式

42、為權(quán)向量中, 每個分量的調(diào)整由下式確定上式表明,權(quán)值調(diào)整量與輸入輸出的乘積成正比。在這種情況下,Hebbian學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值,以防止輸入和輸出正負(fù)始終一致時出現(xiàn)權(quán)值無約束增長。此外,權(quán)值還要初始化,即在學(xué)習(xí)開始前(t=0),先對Wj(0)賦予零附近的小隨機(jī)數(shù)。下面用一個簡單的例子說明Hebbian學(xué)習(xí)規(guī)則的應(yīng)用。2.4.1 Hebbian學(xué)習(xí)規(guī)則(2/3)例2.1 設(shè)有4輸入單輸出神經(jīng)元網(wǎng)絡(luò),其閾值T=0, 學(xué)習(xí)率=1, 3個輸入樣本向量和初始權(quán)向量分別為X1=(1, -2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5

43、)T , W(0)=(1, -1, 0, 0.5)T 。解:首先設(shè)轉(zhuǎn)移函數(shù)為雙極性離散函數(shù)f(net)=sgn(net),權(quán)值調(diào)整步驟為:(1)輸入第一個樣本X1 ,計(jì)算凈輸入net1,并調(diào)整權(quán)向量W(1)(2)輸入第二個樣本X2,計(jì)算凈輸入net2,并調(diào)整權(quán)向量W(2)(3)輸入第二個樣本X3,計(jì)算凈輸入net3,并調(diào)整權(quán)向量W(3)可見,當(dāng)轉(zhuǎn)移函數(shù)為符號函數(shù)且時=1,Hebbian學(xué)習(xí)規(guī)則的權(quán)值調(diào)整將簡化為權(quán)向量與輸入向量的加或減。2.4.1 Hebbian學(xué)習(xí)規(guī)則(3/3)例2.1 設(shè)有4輸入單輸出神經(jīng)元網(wǎng)絡(luò),其閾值T=0, 學(xué)習(xí)率=1, 3個輸入樣本向量和初始權(quán)向量分別為X1=(1,

44、-2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5)T , W(0)=(1, -1, 0, 0.5)T 。解(續(xù)):下面設(shè)傳遞函數(shù)為雙極性連續(xù)函數(shù)f(net)=(1-e-net)/(1+e-net),權(quán)值調(diào)整步驟同上。(2)(3)比較兩種權(quán)值調(diào)整結(jié)果可以看出兩種轉(zhuǎn)移函數(shù)下的權(quán)值調(diào)整方向是一致的,但采用連續(xù)轉(zhuǎn)移函數(shù)時,權(quán)值調(diào)整力度減弱。 (1) 2.4.2 Perceptron(感知器)學(xué)習(xí)規(guī)則1958年,美國學(xué)者Frank Rosenblatt首次定義了一個具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),稱為感知器(Perceptron)。感知器

45、的學(xué)習(xí)規(guī)則規(guī)定:學(xué)習(xí)信號等于神經(jīng)元期望輸出(教師信號)與實(shí)際輸出之差 式中,當(dāng)實(shí)際輸出與期望值相同時,權(quán)值不需要調(diào)整;在有誤差存在情況下,由于dj、sgn(net)-1, 1,權(quán)值調(diào)整公式可簡化為式中dj為期望的輸出,oj=f(net)。感知器采用了與閾值轉(zhuǎn)移函數(shù)類似的符號轉(zhuǎn)移函數(shù),其表達(dá)為因此,權(quán)值調(diào)整公式應(yīng)為感知器學(xué)習(xí)規(guī)則只適用于二進(jìn)制神經(jīng)元,初始權(quán)值可取任意值。(2.17) (2.18)(2.19a)(2.19b)(2.19c)2.4.3 (Delta)學(xué)習(xí)規(guī)則1986年,認(rèn)知心理學(xué)家McClelland和Rumelhart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了規(guī)則,該規(guī)則亦可稱為連續(xù)感知器學(xué)習(xí)規(guī)則。規(guī)

46、則的學(xué)習(xí)信號規(guī)定為上式定義的學(xué)習(xí)信號稱為。式中,f(netj)是轉(zhuǎn)移函數(shù)f(netj)的導(dǎo)數(shù)。顯然,規(guī)則要求轉(zhuǎn)移函數(shù)可導(dǎo),因此只適用于有導(dǎo)師學(xué)習(xí)中定義的連續(xù)轉(zhuǎn)移函數(shù)如sigmoid函數(shù)。事實(shí)上, 規(guī)則很容易由輸出值與期望值的最小平方誤差條件推導(dǎo)出來。定義神經(jīng)元輸出與期望輸出之間的平方誤差為 (2.20)(2.21)式中,誤差E是權(quán)向量Wj的函數(shù)。欲使誤差E最小,Wj應(yīng)與誤差的負(fù)梯度成正比,即(2.22)式中, 比例系數(shù)是一個正常數(shù), E是誤差E的梯度, GRADIENT ( GRAD ) 。式(2.19),誤差梯度是如何計(jì)算的?2.4.3 (Delta)學(xué)習(xí)規(guī)則可以看出,上式中與X之間的部分正

47、是式(2.20)中定義的學(xué)習(xí)信號,Wj中每個分量的調(diào)整由下式 (2.24b)計(jì)算,權(quán)值可初始化為任意值。 (2.23)(2.24a)(2.24b)式(2.23),是如何得到的?由式(2.21 ),誤差梯度為 將此結(jié)果代入式(2.22 ),可得權(quán)值調(diào)整計(jì)算式2.4.3 (Delta)學(xué)習(xí)規(guī)則下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò),將閾值含于權(quán)向量內(nèi),故有w0 = T,x0=-1,學(xué)習(xí)率=0.1,3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T,X2=(-1, 0, 1.5, -0.5)T, X3=(-1, 1, 0.5, -1)T , d1=-1,d2

48、=-1,d3=1, W(0) = (0.5, 1, -1, 0)T。解: 設(shè)轉(zhuǎn)移函數(shù)為雙極性連續(xù)函數(shù)f(net)=(1-e-net)/(1+e-net), 權(quán)值調(diào)整步驟為: (1)輸入樣本X1,計(jì)算凈輸入net1及權(quán)向量W(1)2.4.3 (Delta)學(xué)習(xí)規(guī)則解(續(xù)): (2)輸入樣本X2,計(jì)算凈輸入net2及權(quán)向量W(2)下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò),將閾值含于權(quán)向量內(nèi),故有w0 = T,x0=-1,學(xué)習(xí)率=0.1,3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T,X2=(-1, 0, 1.5, -0.5)T, X3=(-1, 1, 0

49、.5, -1)T , d1=-1,d2=-1,d3=1, W(0) = (0.5, 1, -1, 0)T。2.4.3 (Delta)學(xué)習(xí)規(guī)則解(續(xù)): (3)輸入樣本X3,計(jì)算凈輸入net3及權(quán)向量W(3)下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò),將閾值含于權(quán)向量內(nèi),故有w0 = T,x0=-1,學(xué)習(xí)率=0.1,3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T,X2=(-1, 0, 1.5, -0.5)T, X3=(-1, 1, 0.5, -1)T , d1=-1,d2=-1,d3=1, W(0) = (0.5, 1, -1, 0)T。2.4.4 Wi

50、drow-Hoff(LMS)學(xué)習(xí)規(guī)則1962年,Bernard Widrow和Marcian Hoff提出了Widrow-Hoff學(xué)習(xí)規(guī)則,又稱為最小均方規(guī)則(LMS)。Widrow-Hoff學(xué)習(xí)規(guī)則的學(xué)習(xí)信號為 權(quán)向量調(diào)整量為W的各分量為 實(shí)際上,如果在學(xué)習(xí)規(guī)則中設(shè)定神經(jīng)元轉(zhuǎn)移函數(shù)為f(net)=net,則有f(net)=1,此時式(2.20)與式(2.25)相同。因此,Widrow-Hoff學(xué)習(xí)規(guī)則可以看成是學(xué)習(xí)規(guī)則的一個特殊情況。該學(xué)習(xí)規(guī)則與神經(jīng)元采用的轉(zhuǎn)移函數(shù)無關(guān),因而不需要對轉(zhuǎn)移函數(shù)求導(dǎo)數(shù),不僅學(xué)習(xí)速度較快,而且具有較高的精度。權(quán)值可初始化為任意值。 (2.25)(2.26a)(2.

51、26b)2.4.5 Correlation(相關(guān))學(xué)習(xí)規(guī)則相關(guān)學(xué)習(xí)規(guī)則規(guī)定學(xué)習(xí)信號為易得出W及wij分別為該規(guī)則表明,當(dāng)dj是xi的期望輸出時,相應(yīng)的權(quán)值增量wij與兩者的乘積djxi成正比。(2.27)(2.28a)(2.28b)如果Hebbian學(xué)習(xí)規(guī)則中的轉(zhuǎn)移函數(shù)為二進(jìn)制函數(shù),且有oj=dj,則相關(guān)學(xué)習(xí)規(guī)則可看做Hebbian規(guī)則的一種特殊情況。應(yīng)當(dāng)注意的是,Hebbian學(xué)習(xí)規(guī)則是無導(dǎo)師學(xué)習(xí),而相關(guān)學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí)。這種學(xué)習(xí)規(guī)則要求將權(quán)值初始化為零。 2.4.6 Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)則Winner-Take-All學(xué)習(xí)規(guī)則是一種競爭學(xué)習(xí)規(guī)則,用于無導(dǎo)師學(xué)

52、習(xí)。一般將網(wǎng)絡(luò)的某一層確定為競爭層,對于一個特定的輸入X,競爭層的所有p個神經(jīng)元均有輸出響應(yīng),其中響應(yīng)值最大的神經(jīng)元為在競爭中獲勝的神經(jīng)元,即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量Wm,調(diào)整量為式中,(0, 1,是學(xué)習(xí)常數(shù),一般其值隨著學(xué)習(xí)的進(jìn)展而減小。由于兩個向量的點(diǎn)積越大,表明兩者越近似,所以調(diào)整獲勝神經(jīng)元權(quán)值的結(jié)果是使Wm進(jìn)一步接近當(dāng)前輸入X。顯然,當(dāng)下次出現(xiàn)與X相像的輸入模式時,上次獲勝的神經(jīng)元更容易獲勝。在反復(fù)的競爭學(xué)習(xí)過程中,競爭層的各神經(jīng)元所對應(yīng)的權(quán)向量被逐漸調(diào)整為輸入樣本空間的聚類中心。在有些應(yīng)用中,以獲勝神經(jīng)元為中心定義一個獲勝鄰域除獲勝神經(jīng)元調(diào)整權(quán)值外,鄰城內(nèi)的其他神經(jīng)元也程度不

53、同地調(diào)整權(quán)值。權(quán)值一般被初始化為任意值并進(jìn)行歸一化處理。(2.29)(2.30)j*2.4.7 Outstar(外星)學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)中有兩類常見節(jié)點(diǎn),分別稱為內(nèi)星節(jié)點(diǎn)和外星節(jié)點(diǎn),其特點(diǎn)見圖2.16。圖2.16(a)中的內(nèi)星節(jié)點(diǎn)總是接受來自四面八方的輸入加權(quán)信號,因此是信號的匯聚點(diǎn),對應(yīng)的權(quán)值向量稱為內(nèi)星權(quán)向量,圖2.16(b)中的外星節(jié)點(diǎn)總是向四面八方發(fā)出輸出加權(quán)信號,因此是信號的發(fā)散點(diǎn),對應(yīng)的權(quán)值向量稱為外星權(quán)向量。2.4.7 Outstar(外星)學(xué)習(xí)規(guī)則下面介紹外星學(xué)習(xí)規(guī)則。 外星學(xué)習(xí)規(guī)則屬于有導(dǎo)師學(xué)習(xí),其目的是為了生成一個期望的維輸出向量,設(shè)對應(yīng)的外星權(quán)向量用表示,學(xué)習(xí)規(guī)則如下式中,

54、的規(guī)定與作用與式(2.30)的相向。正像式(2.30)給出的內(nèi)星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的內(nèi)星權(quán)向量向輸入向量靠近一樣,式(2.31)給出的外星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的外星權(quán)向量向期望輸出向量靠近。(2.31)(2.30)以上集中介紹了神經(jīng)網(wǎng)絡(luò)中幾種常用的學(xué)習(xí)規(guī)則,有些規(guī)則之間有著內(nèi)在聯(lián)系,讀者可通過比較體會其異同。對上述各種學(xué)習(xí)規(guī)則的對比總結(jié)列于表2.1中。 本章小結(jié)本章重點(diǎn)介紹了生物神經(jīng)元的結(jié)構(gòu)及其信息處理機(jī)制、人工神經(jīng)元數(shù)理模型、常見的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及學(xué)習(xí)規(guī)則。其中,神經(jīng)元的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的連接方式以及神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的三大要素,因而是本章學(xué)習(xí)的重點(diǎn)。(1)生物神經(jīng)

55、元的信息處理 (2)神經(jīng)元模型(3)神經(jīng)網(wǎng)絡(luò)模型(4)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)作業(yè)2.1 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的?2.2 若權(quán)值只能按1或-1變化,對神經(jīng)元的學(xué)習(xí)有何影響?試舉例說明。補(bǔ)充題:請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。2.3 舉例說明什么是有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)?2.4 雙輸入單輸出神經(jīng)網(wǎng)絡(luò),初始權(quán)向量W(0)=1,-1T,學(xué)習(xí)率=1, 4個輸入向量為X1=1,-2T,X2=0,1T,X3=2,3T,X4=1,1T,若采用Hebb學(xué)習(xí)規(guī)則,對以下兩種情況求第四步訓(xùn)練后的權(quán)向量W(4)=?,?T: (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù)f(net)=sgn(net); (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù)f(net)=(1-e-net)/(1+e-net)。 作業(yè)2.5 某神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)為符號函數(shù)f(net)=sgn(net),學(xué)習(xí)率=1,初始權(quán)向量W(0)=0, 1, 0T, 兩對輸入樣本為 X1=2, 1, -1T,d1=-1; X2=0, -1, -1T,d2=1。試用感知器學(xué)習(xí)規(guī)則對以上樣本進(jìn)行反復(fù)訓(xùn)練,直到網(wǎng)絡(luò)輸出誤差為零,寫出每一訓(xùn)練步的凈輸入net(t)。2.6 某神經(jīng)網(wǎng)絡(luò)采用雙極性Sigmoid函數(shù),學(xué)習(xí)率=0.25,初始權(quán)向量W(0)=1, 0, 1

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論