神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識最新

1、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)知識本章將闡述，作為“智能”物質(zhì)基礎(chǔ)的大腦是如何構(gòu)成和如何工作的？在構(gòu)造新型智能信息處理系統(tǒng)時，可以從中得到什么啟示?2.1 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ) 2.2 人工神經(jīng)元模型 2.3 人工神經(jīng)網(wǎng)絡(luò)模型 2.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 本章小結(jié) 2.1 人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。 據(jù)估計(jì)，人類大腦大約包含有1.41011個神經(jīng)元，每個神經(jīng)元與大約103105個其他神經(jīng)元相連接，構(gòu)成了一個龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按照外部的激勵信號作自適應(yīng)變化而

2、每個神經(jīng)元又隨著所接受的多個激勵信號的綜合結(jié)果呈現(xiàn)出興奮與抑制狀態(tài)。 大腦的學(xué)習(xí)過程就是神經(jīng)元之間連接強(qiáng)度隨外部激勵信息作自適應(yīng)變化的過程，大腦處理信息的結(jié)果是由各神經(jīng)元狀態(tài)的整體效果來確定。顯然，神經(jīng)元是人腦信息處理系統(tǒng)的最小單元。 2.1.1 生物神經(jīng)元的結(jié)構(gòu)人腦中神經(jīng)元的形態(tài)不盡相同，功能也有差異，但從組成結(jié)構(gòu)來看，各種神經(jīng)元是有共性的。 圖2.1給出一個典型神經(jīng)元的基本結(jié)構(gòu)和與其他神經(jīng)元發(fā)生連接的簡化示意圖。 神經(jīng)元在結(jié)構(gòu)上由細(xì)胞體、樹突、軸突和突觸四部分組成。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)一)(1)細(xì)胞體(Cell body) 細(xì)胞體是神經(jīng)元的主體，由細(xì)胞核、細(xì)胞質(zhì)和細(xì)胞膜三部分構(gòu)

3、成。細(xì)胞核占據(jù)細(xì)胞體的很大一部分，進(jìn)行著呼吸和新陳代謝等許多生化過程。細(xì)胞體的外部是細(xì)胞膜，將膜內(nèi)外細(xì)胞液分開。由于細(xì)胞膜對細(xì)胞液中的不同離子具有不同的通透性，使得膜內(nèi)外存在著離子濃度差，從而出現(xiàn)內(nèi)負(fù)外正的靜息電位。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)二)(2)樹突(Dendrite) 從細(xì)胞體向外延伸出許多突起的神經(jīng)纖維, 其中大部分突起較短，其分支多群集在細(xì)胞體附近形成灌木叢狀，這些突起稱為樹突。神經(jīng)元靠樹突接受來自其他神經(jīng)元的輸入信號，相當(dāng)于細(xì)胞體的輸入端。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)三)(3)軸突(Axon) 由細(xì)胞體伸出的最長的一條突起稱為軸突，軸突比樹突長而細(xì)，用來傳出細(xì)胞體產(chǎn)生的

4、輸出電化學(xué)信號。軸突也稱神經(jīng)纖維, 其分支傾在神經(jīng)纖維終端處長出, 這些細(xì)的分支稱為軸突末梢或神經(jīng)末梢。神經(jīng)末梢可以向四面八方傳出信號, 相當(dāng)于細(xì)胞體的輸出。2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)四)(4)突觸(Synapse) 神經(jīng)元之間通過一個神經(jīng)元的軸突末梢和其他神經(jīng)元的細(xì)胞體或樹突進(jìn)行通信連接，這種連接相當(dāng)于神經(jīng)元之間的輸入輸出接口，稱為突觸。突觸包括突觸前、突觸間隙和突觸后三個部分。突觸前是第一個神經(jīng)元的軸突末梢部分, 突觸后是指第二個神經(jīng)元的樹突或細(xì)胞體等受體表面。突觸在軸突末梢與其他神經(jīng)元的受體表面相接觸的地方有1550nm(納米10-9m)的間隙, 稱為突觸間隙，在電學(xué)上把兩者斷開,

5、 見圖2.2。每個神經(jīng)元大約有103105個突觸, 多個神經(jīng)元以突觸連接即形成神經(jīng)網(wǎng)絡(luò)。 2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)五)2.1.1 生物神經(jīng)元的結(jié)構(gòu)(續(xù)六)突觸2.1.2 生物神經(jīng)元的信息處理機(jī)理在生物神經(jīng)元中，突觸為輸入輸出接口，樹突和細(xì)胞體為輸入端，接受來自突觸點(diǎn)的輸入信號；細(xì)胞體相當(dāng)于一個微型處理器，對各樹突和細(xì)胞體各部位收到的來自其他神經(jīng)元的輸入信號進(jìn)行組合，并在一定條件下觸發(fā)，產(chǎn)生輸出信號；輸出信號沿軸突傳至末梢，軸突末梢作為輸出端通過突觸將這一輸出信號傳向其他神經(jīng)元的樹突和細(xì)胞體。下面對生物神經(jīng)元之間接受、產(chǎn)生、傳遞和處理信息的機(jī)理進(jìn)行分析。 2.1.2.1 信息的產(chǎn)生(1/

6、3)研究認(rèn)為，神經(jīng)元之間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動。由于細(xì)胞膜本身對不同離子具有不同的通透性，從而造成膜內(nèi)外細(xì)胞液中的離子存在濃度差。神經(jīng)元在無信號輸入時，其細(xì)胞膜內(nèi)外因離子濃度差而造成的電位差為 -70mV(毫伏，內(nèi)負(fù)外正)左右，稱為靜息電位，此時細(xì)胞膜的狀態(tài)稱為極化狀態(tài)(Polarization)，神經(jīng)元的狀態(tài)為靜息狀態(tài)。當(dāng)神經(jīng)元受到外界的刺激時，如果膜電位從靜息電位向正偏移，稱之為去極化(Depolarization)，此時神經(jīng)元的狀態(tài)為興奮狀態(tài)；如果膜電位從靜息電位向負(fù)偏移，稱之為超級化(Hyper polarization)，此時神經(jīng)元的狀態(tài)為抑制狀態(tài)。2.1.2.1 信

7、息的產(chǎn)生(2/3)神經(jīng)元細(xì)胞膜的去極化和超極化程度反映了神經(jīng)元興奮和抑制的強(qiáng)烈程度。在某一給定時刻，神經(jīng)元總是處于靜息、興奮和抑制三種狀態(tài)之一。神經(jīng)元中信息的產(chǎn)生與興奮程度相關(guān)，在外界刺激下，當(dāng)神經(jīng)元的興奮程度超過了某個限度，也就是細(xì)胞膜去極化程度超過了某個電位時，神經(jīng)元被激發(fā)而輸出神經(jīng)脈沖。神經(jīng)脈沖產(chǎn)生的經(jīng)過如下：以靜息膜電位為基準(zhǔn)(-70mV), 當(dāng)膜電位高出15mV, 即超過閥值電位(-55mV)時, 該神經(jīng)細(xì)胞變成活性細(xì)胞,其膜電位自發(fā)地急速升高, 在1ms內(nèi)比靜息膜電位上升100mV (+30mV)左右, 此后膜電位又急速下降, 回到靜息時的值。2.1.2.1 信息的產(chǎn)生(3/3)

8、這一過程稱作細(xì)胞的興奮過程, 興奮的結(jié)果產(chǎn)生一個寬度為1ms，振幅為100mV的電脈沖, 又稱神經(jīng)沖動, 如圖2.3所示。值得注意的是, 當(dāng)細(xì)胞體產(chǎn)生一個電脈沖后, 即使受到很強(qiáng)的刺激, 也不會立刻產(chǎn)生興奮。這是因?yàn)樯窠?jīng)元發(fā)放電脈沖時，暫時性閥值急速升高，持續(xù)1ms后慢慢下降到-55mV這一正常狀態(tài)，這段時間約為數(shù)毫秒，稱為不應(yīng)期。不應(yīng)期結(jié)束后，若細(xì)胞受到很強(qiáng)的刺激，則再次產(chǎn)生興奮性電脈沖。由此可見，神經(jīng)元產(chǎn)生的信息是具有電脈沖形式的神經(jīng)沖動。各脈沖的寬度和幅度相同，而脈沖的間隔是隨機(jī)變化的。某神經(jīng)元的輸入脈沖密度越大，其興奮程度越高，在單位時間內(nèi)產(chǎn)生的脈沖串的平均頻率也越高。 2.1.2.2

9、 信息的傳遞與接收(1/3)神經(jīng)脈沖信號沿軸突傳向其末端的各個分支，在軸突的末端觸及突觸前時，突觸前的突觸小泡能釋放一種化學(xué)物質(zhì)，稱為遞質(zhì)。在前一個神經(jīng)元發(fā)放脈沖并傳到其軸突末端后，這種遞質(zhì)從突觸前膜釋放出，經(jīng)突觸間隙的液體擴(kuò)散，在突觸后膜與特殊受體相結(jié)合。受體的性質(zhì)決定了遞質(zhì)的作用是興奮的還是抑制的，并據(jù)此改變后膜的離子通透性，從而使突觸后膜電位發(fā)生變化。根據(jù)突觸后膜電位的變化，可將突觸分為兩種：興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加而向正電位方向增大，抑制性突觸的后膜電位隨遞質(zhì)與受體結(jié)合數(shù)量的增加向更負(fù)電位方向變化。2.1.2.2 信息的傳遞與接收(2/3)

10、從化學(xué)角度看：當(dāng)興奮性化學(xué)遞質(zhì)傳送到突觸后膜時，后膜對離子通透性的改變使流入細(xì)胞膜內(nèi)的正離子增加，從而使突觸后成分去極化，產(chǎn)生興奮性突觸后電位；當(dāng)抑制性化學(xué)遞質(zhì)傳送到突觸后膜時，后膜對離子通透性的改變使流出細(xì)胞膜外的正離子增加，從而使突觸后成分超極化，產(chǎn)生抑制性突觸后電位。當(dāng)突觸前膜釋放的興奮性遞質(zhì)使突觸后膜的去極化電位超過了某個閥電位時，后一個神經(jīng)元就有神經(jīng)脈沖輸出從而把前一神經(jīng)元的信息傳遞給了后一神經(jīng)元（圖2.4）。2.1.2.2 信息的傳遞與接收(3/3)神經(jīng)遞質(zhì)產(chǎn)生 神經(jīng)電脈沖 神經(jīng)遞質(zhì)釋放 遞質(zhì)與受體結(jié)合 電生理反映突觸間隙突觸前突觸后圖2-4 突觸信息傳遞過程前一個神經(jīng)元后一個神經(jīng)

11、元2.1.2.2 信息的傳遞與接收從脈沖信號到達(dá)突觸前膜，到突觸后膜電位發(fā)生變化, 有0.21ms的時間延遲, 稱為突觸延遲(synaptic delay)，這段延遲是化學(xué)遞質(zhì)分泌、向突觸間隙擴(kuò)散、到達(dá)突觸后膜并在那里發(fā)生作用的時間總和。由此可見，突觸對神經(jīng)沖動的傳遞具有延時作用。在人腦中，神經(jīng)元間的突觸聯(lián)系大部分是在出生后由于給予刺激而成長起來的。外界刺激性質(zhì)不同，能夠改變神經(jīng)元之間的突觸聯(lián)系，即突觸后膜電位變化的方向與大小。從突觸信息傳送的角度看，表現(xiàn)為放大倍數(shù)和極性的變化。正是由于各神經(jīng)元之間的突觸連接強(qiáng)度和極性有所不同并可進(jìn)行調(diào)整，因此人腦才具有學(xué)習(xí)和存儲信息的功能。2.1.2.3 信

12、息的整合(1/2) 神經(jīng)元對信息的接受和傳送都是通過突觸來進(jìn)行的。單個神經(jīng)元可以與多達(dá)上千個其他神經(jīng)元的軸突末梢形成突觸連接，接受從各個軸突傳來的脈沖輸入。這些輸入可到達(dá)神經(jīng)元的不同部位，輸入部位不同，對神經(jīng)元影響的權(quán)重也不同。在同一時刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。這種累加求和稱為空間整合。另外，各輸入脈沖抵達(dá)神經(jīng)元的先后時間也不一樣。由一個脈沖引起的突觸后膜電位很小，但在其持續(xù)時間內(nèi)有另一脈沖相繼到達(dá)時，總的突觸后膜電位增大。這種現(xiàn)象稱為時間整合。2.1.2.3 信息的整合(2/2) 一個神經(jīng)元的輸入信息在時間和空間上常呈現(xiàn)一種復(fù)雜多變的形式，神

13、經(jīng)元需要對它們進(jìn)行積累和整合加工，從而決定其輸出的時機(jī)和強(qiáng)弱。正是神經(jīng)元的這種時空整合作用，才使得億萬個神經(jīng)元在神經(jīng)系統(tǒng)中可以有條不紊、夜以繼日地處理著各種復(fù)雜的信息，執(zhí)行著生物中樞神經(jīng)系統(tǒng)的各種信息處理功能。2.1.2.4 生物神經(jīng)網(wǎng)絡(luò)(1/2) 由多個生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)，它是一種更為靈巧、復(fù)雜的生物信息處理系統(tǒng)。研究表明，每一個生物神經(jīng)網(wǎng)絡(luò)系統(tǒng)均是一個有層次的、多單元的動態(tài)信息處理系統(tǒng)，它們有其獨(dú)特的運(yùn)行方式和控制機(jī)制，以接受生物內(nèi)外環(huán)境的輸入信息，加以綜合分析處理，然后調(diào)節(jié)控制機(jī)體對環(huán)境做出適當(dāng)反應(yīng)。生物神經(jīng)網(wǎng)絡(luò)的功能不是單個神經(jīng)元信息處理功能的簡單

14、疊加。每個神經(jīng)元都有許多突觸與其他神經(jīng)元連接，任何一個單獨(dú)的突觸連接都不能完全表現(xiàn)一項(xiàng)信息。只有當(dāng)它們集合成總體時，才能對刺激的特殊性質(zhì)給出明確的答復(fù)。由于神經(jīng)元之間突觸連接方式和連接強(qiáng)度的不同并且具有可塑性，神經(jīng)網(wǎng)絡(luò)在宏觀上呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。 2.1.2.4 生物神經(jīng)網(wǎng)絡(luò)(2/2) CEREBRAL CORTEX-大腦皮層神經(jīng)細(xì)胞的定義神經(jīng)細(xì)胞是高等動物神經(jīng)系統(tǒng)的結(jié)構(gòu)單位和功能單位，又被稱為神經(jīng)元（neuron）。神經(jīng)系統(tǒng)中含有大量的神經(jīng)元，據(jù)估計(jì)，人類中樞神經(jīng)系統(tǒng)中約含1000億個神經(jīng)元，僅大腦皮層中就約有140億。神經(jīng)細(xì)胞描述：神經(jīng)細(xì)胞呈三角形或多角形，可以分為樹突、軸

15、突和胞體這三個區(qū)域。附件附件神經(jīng)細(xì)胞的功能神經(jīng)元的基本功能是通過接受、整合、傳導(dǎo)和輸出信息實(shí)現(xiàn)信息交換。腦是由神經(jīng)元構(gòu)成的，神經(jīng)元群通過各個神經(jīng)元的信息交換，實(shí)現(xiàn)腦的分析功能，進(jìn)而實(shí)現(xiàn)樣本的交換產(chǎn)出。產(chǎn)出的樣本通過聯(lián)結(jié)路徑點(diǎn)亮丘覺產(chǎn)生意識。 附件丘覺是我們通過遺傳獲得的意思結(jié)構(gòu)，這些意思是丘腦核團(tuán)的神經(jīng)元本身蘊(yùn)含的，并能夠自由合成發(fā)放或被樣本點(diǎn)亮發(fā)放出來。丘覺平時處于潛伏狀態(tài)，自由合成或被點(diǎn)亮?xí)r意思才能發(fā)放出來，形成意識。丘覺是不能通過學(xué)習(xí)獲得的，丘覺具有遺傳性和聯(lián)結(jié)性，丘覺的性質(zhì)也就決定了意識的性質(zhì)。 附件附件腦細(xì)胞的特征腦細(xì)胞一旦發(fā)育完成后，再也不會增殖。人的一生就只有出生時那個數(shù)目的腦細(xì)

16、胞可供利用，大約120億個。骨骼、肝臟、肌肉等其它器官或組織損傷后可因細(xì)胞分裂增殖很快得以恢復(fù)，唯獨(dú)腦細(xì)胞不可再生。目前，科學(xué)界尚沒有更好的辦法能夠改變腦細(xì)胞不可再生這一特性。 腦細(xì)胞處在一種連續(xù)不斷地死亡且永不復(fù)生增殖的過程，死一個就少一個，直至消亡殆盡。人到20歲左右，腦細(xì)胞發(fā)育的速度達(dá)到巔峰，此時不僅精力充沛，而且記憶力好，是一生中的黃金季節(jié)，越過此峰，便是下坡。20歲過后，若這些細(xì)胞放置在那里而不使用的話，會以每天10萬個的數(shù)量變成廢品。拿80歲的人和40歲的人相比較，前者比后者大約減少了一半，相差一倍左右，這已被科學(xué)所證實(shí)。 附件腦細(xì)胞的特征腦細(xì)胞按其成熟度可分為三種類型：一類是已經(jīng)

17、充分發(fā)展了的腦細(xì)胞，其成熟度最高，每個細(xì)胞有多達(dá)二萬余條線路與其它的細(xì)胞有業(yè)務(wù)聯(lián)系。這部分細(xì)胞為處于工作狀態(tài)的精英。 另一類是未充分發(fā)展的腦細(xì)胞，其成熟度相對較低，每個細(xì)胞一般只有幾十條線路與其它腦細(xì)胞聯(lián)絡(luò)，我們稱這部分腦細(xì)胞是處于半抑制狀態(tài)。 第三類是完全沒有發(fā)展的原始狀態(tài)的腦細(xì)胞，這部分腦細(xì)胞既不馬上死亡，也不參與工作，處于休閑狀態(tài)。我們稱其為處于完全抑制狀態(tài)或沉睡狀態(tài)的腦細(xì)胞。 人腦大約有120億個腦細(xì)胞，最多不到10%是充分發(fā)展了的并常加以運(yùn)用的，其余的仍處在未充分發(fā)展或完全沒有發(fā)展的原始狀態(tài)。 附件腦細(xì)胞的特征腦細(xì)胞彼此間聯(lián)絡(luò)的線路絕大多數(shù)在人出生后，受到外界環(huán)境的刺激而逐步發(fā)展形成

18、的。腦細(xì)胞聯(lián)絡(luò)線路越多，就越能發(fā)揮各細(xì)胞彼此之間的分工合作，人就越聰明，智商就越高。神經(jīng)細(xì)胞的數(shù)量，出生時有多少以后就有多少，不能增加。神經(jīng)細(xì)胞是有壽命的，腦細(xì)胞死一個就少一個、衰老便不由人愿了，可見“笑一笑十年少，愁一愁白了頭”是有些道理的。 附件2.2 人工神經(jīng)元模型人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)生物學(xué)研究基礎(chǔ)上提出的模擬生物過程以反映人腦某些特性的計(jì)算結(jié)構(gòu)。它不是人腦神經(jīng)系統(tǒng)的真實(shí)描寫，而只是人腦神經(jīng)系統(tǒng)的某種抽象、簡化和模擬。根據(jù)前面對生物神經(jīng)網(wǎng)絡(luò)的介紹可知，神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元。在人工神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元常被稱為“處理單元”。人工神經(jīng)

19、元是對生物神經(jīng)元的一種形式化描述；人工神經(jīng)元是對生物神經(jīng)元的信息處理過程進(jìn)行抽象，并用數(shù)學(xué)語言予以描述；人工神經(jīng)元是對生物神經(jīng)元的結(jié)構(gòu)和功能進(jìn)行模擬，并用模型圖予以表達(dá)。 2.2.1 神經(jīng)元的建摸(1/6) 目前人們提出的神經(jīng)元模型已有很多，其中最早提出且影響最大的是M-P模型（ 1943年由心理學(xué)家McCulloch和數(shù)學(xué)家WPitts首先提出的）。該模型經(jīng)過不斷改進(jìn)后，形成目前應(yīng)用廣泛的一種神經(jīng)元模型。關(guān)于神經(jīng)元的信息處理機(jī)制，該模型在簡化的基礎(chǔ)上提出以下6點(diǎn)假定：1、是一個多輸入單輸出的信息處理單元；2、突觸分興奮性和抑制性兩種類型；3、神經(jīng)元具有空間整合特性和閥值特性；4、輸入與輸出間

20、有固定的時滯，取決于突觸延擱；5、忽略時間整合作用和不應(yīng)期；6、神經(jīng)元本身是非時變的，即其突觸時延和突觸強(qiáng)度均為常數(shù)。2.2.1 神經(jīng)元的建摸 (2/6)上述假定，可用圖2.5中的神經(jīng)元模型示意圖進(jìn)行圖解表示。2.2.1 神經(jīng)元的建摸 (3/6)如生物神經(jīng)元有許多激勵輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號。圖中用xi ( i=1, 2, , n )表示輸入數(shù)值的大小，它們同時輸入神經(jīng)元j。 jx1xixnwnjwijw1j2.2.1 神經(jīng)元的建摸(4/6) 生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，其影響是使有些輸入的作用比另外一些輸入更為重要。對模擬神經(jīng)元的每一個輸入都有一個加權(quán)系數(shù)wij

21、，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強(qiáng)度。 jx1xixn2.2.1 神經(jīng)元的建摸(5/6) 作為基本處理單元，必須對全部輸入信號進(jìn)行整合，以確定各類輸入的作用總效果，組合表示輸入信號的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元是否激活，決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時，神經(jīng)元才被激活而發(fā)出脈沖，否則神經(jīng)元不會產(chǎn)生輸出信號。 wnjwijw1jjx1xixnfoj2.2.1 神經(jīng)元的建摸(6/6) 人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個，如用oj表示神經(jīng)元j輸出。輸出與輸入之間的對應(yīng)關(guān)系可用某種函數(shù)來表示，這種函數(shù)稱為轉(zhuǎn)移函數(shù)

22、，一般都是非線性的。 wnjwijw1jjx1xixn2.2.2 神經(jīng)元的數(shù)學(xué)模型(1/6)我們用一個數(shù)學(xué)表達(dá)式對上述內(nèi)容可進(jìn)行抽象與概括。令xi(t)表示t時刻神經(jīng)元j接收的來自神經(jīng)元i的信息輸入，oj(t)表示t時刻神經(jīng)元的信息輸出，則神經(jīng)元j的狀態(tài)可表達(dá)為式中 ij 輸入i輸出j間的突觸延時； Tj 神經(jīng)元j的閾值； wij 神經(jīng)元i到j(luò)的突觸連接系數(shù)值； f( ) 神經(jīng)元轉(zhuǎn)移函數(shù)。2.2.2 神經(jīng)元的數(shù)學(xué)模型(2/6)為簡單起見，將上式中的突觸延時取為單位時間，則式（2.1）可寫為 上式描述的神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2

23、、突觸分興奮性和抑制性; (wij可正可負(fù)、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應(yīng)期; 6、非時變，即突觸時延和突觸強(qiáng)度為常數(shù)。2.2.2 神經(jīng)元的數(shù)學(xué)模型(3/6)輸入總和常稱為神經(jīng)元在t時刻的凈輸入，用 當(dāng)netjTj時，神經(jīng)元j才能被激活。 oj(t+1)與xi(t)之間的單位時間差代表所有神經(jīng)元具有相同的、恒定的工作節(jié)律，wij與時間無關(guān)。為簡便起見，后面用到式(2.3)和(2.3)時，常將其中的(t+1)和 (t)省略。 2.2.2 神經(jīng)元的數(shù)學(xué)模型(4/6)式(2.3)還可表示為權(quán)重向量和輸入向量的點(diǎn)積

24、其中 Wj 和 X 均為列向量，定義為2.2.2 神經(jīng)元的數(shù)學(xué)模型(5/6)如果令x0=-1，w0j=Tj，則有-Tj=w0jx0，因此凈輸入和閾值之差可表示為： 式(2.4)中列向量和的第一個分量的下標(biāo)均從1開始, 而式(2.5)中則從0開始。 2.2.2 神經(jīng)元的數(shù)學(xué)模型(6/6)采用式(2.5)的約定后, 凈輸入改寫為net, 與原來的區(qū)別是包含了閾值。綜合以上各式, 神經(jīng)元模型可簡化為x0=-1x1xixnw0j=Tjfojwnjwijw1jj-Tj=w0jx02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)神經(jīng)元的各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神

25、經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，因此轉(zhuǎn)移函數(shù)的研究具有重要意義。神經(jīng)元的轉(zhuǎn)移函數(shù)反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有以下4種形式。（1）閾值型轉(zhuǎn)移函數(shù) （2）非線性轉(zhuǎn)移函數(shù) （3）分段線性轉(zhuǎn)移函數(shù) （4）概率型轉(zhuǎn)移函數(shù) 2.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù) 閾值型轉(zhuǎn)移函數(shù)采用了圖2.6的單位階躍函數(shù)，用下式定義 具有這一轉(zhuǎn)移函數(shù)的神經(jīng)元稱為閾值型神經(jīng)元，這是神經(jīng)元模型中最簡單的一種，經(jīng)典的M-P模型就屬于這一類。函數(shù)中的自變量x代表netj-Tj，即當(dāng)netj=Tj時，神經(jīng)元為興奮狀態(tài)，輸出為1；當(dāng)時netjTj ，神經(jīng)元為抑制狀態(tài)

26、，輸出為0。xf(x)1.0 xf(x)1.0-1.02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(2)非線性轉(zhuǎn)移函數(shù) 非線性轉(zhuǎn)移函數(shù)為實(shí)數(shù)域R到0，1閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型。S型函數(shù)曲線特點(diǎn)見圖2.7。最常用的非線性轉(zhuǎn)移函數(shù)是單極性Sigmoid函數(shù)曲線，簡稱S型函數(shù)，其特點(diǎn)是函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，因而在處理上十分方便。單極性S型函數(shù)定義如下 有時也常采用雙極性S型函數(shù)(即雙曲正切)等形式圖2-7 S型轉(zhuǎn)移函數(shù)f(x)0.51.0 xf(x)0.51.0 xf(x)1.0 x-1.02.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(3)分段線性轉(zhuǎn)移函數(shù) 該函數(shù)特點(diǎn)是神經(jīng)元的輸入與輸出在一定區(qū)間內(nèi)滿

27、足線性關(guān)系。由于具有分段線性的特點(diǎn)，因而在實(shí)現(xiàn)上比較簡單。這類函數(shù)也稱為偽線性函數(shù)，表達(dá)式如下圖2.8給出該函數(shù)曲線。圖2-8 分段線性轉(zhuǎn)移函數(shù)xf(x)1.0 xc2.2.3 神經(jīng)元的轉(zhuǎn)移函數(shù)(4)概率型轉(zhuǎn)移函數(shù) 采用概率型轉(zhuǎn)移函數(shù)的神經(jīng)元模型其輸入與輸出之間的關(guān)系是不確定的，需采用一個隨機(jī)函數(shù)來描述輸出狀態(tài)為1或?yàn)?的概率。設(shè)神經(jīng)元輸出為1的概率為式中，T稱為溫度參數(shù)。由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼(Boltzmann)分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。(2.12)作業(yè)2.1 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的?2.2 若權(quán)值

28、只能按1或-1變化，對神經(jīng)元的學(xué)習(xí)有何影響？試舉例說明。補(bǔ)充題：請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。fojwnjwijw1jjx1xixn神經(jīng)元數(shù)學(xué)模型全面表達(dá)了神經(jīng)元模型的6點(diǎn)假定。 1、多輸入單輸出; (n個輸入; 1個輸出)2、突觸分興奮性和抑制性; (wij可正可負(fù)、可大可小)3、有空間整合特性和閥值特性; (求和, Tj)4、輸入與輸出間有固定的時滯; 5、忽略時間整合作用和不應(yīng)期; 6、非時變，即突觸時延和突觸強(qiáng)度為常數(shù)。2.3 人工神經(jīng)網(wǎng)絡(luò)模型生物神經(jīng)網(wǎng)絡(luò)由數(shù)以億計(jì)的生物神經(jīng)元連接而成，而人工神經(jīng)網(wǎng)絡(luò)限于物理實(shí)現(xiàn)的困難和為了計(jì)算簡便，是由相對少量的神經(jīng)元按一定規(guī)律構(gòu)成的網(wǎng)絡(luò)

29、。人工神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元常稱為節(jié)點(diǎn)或處理單元，每個節(jié)點(diǎn)均具有相同的結(jié)構(gòu)，其動作在時間上同步。人工神經(jīng)網(wǎng)絡(luò)的模型很多，可以按照不同的方法進(jìn)行分類。其中常見的兩種分類方法是，按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類和按網(wǎng)絡(luò)內(nèi)部的信息流向分類。2.3.1 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型根據(jù)神經(jīng)元之間的連接方式，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分為兩大類(層次型結(jié)構(gòu) 和互連型結(jié)構(gòu))。 2.3.1.1 層次型結(jié)構(gòu)(1/4)層次型結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)將神經(jīng)元按功能分成若干層，如輸入層、中間層（也稱為隱層）和輸出層，各層順序相連，如圖2.9所示。圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)輸出層中間層(也稱隱層)輸入層圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)輸出層中間層(也稱隱層)輸入

30、層2.3.1.1 層次型結(jié)構(gòu)(2/4)輸入層各神經(jīng)元負(fù)責(zé)接受來自外界的輸入信息，并傳遞給中間各隱層神經(jīng)元；隱層是神經(jīng)網(wǎng)絡(luò)的內(nèi)部信息處理層，負(fù)責(zé)信息變換，根據(jù)信息變換能力的需要，隱層可設(shè)計(jì)為一層或多層；最后一個隱層傳遞到輸出層各神經(jīng)元的信息經(jīng)近一步處理后，即完成一次從輸入到輸出的信息處理，由輸出層向外界（如執(zhí)行機(jī)構(gòu)或顯示設(shè)備）輸出信息處理結(jié)果。2.3.1.1 層次型結(jié)構(gòu)(3/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (1)單純層次型網(wǎng)絡(luò)結(jié)構(gòu) 如圖2.9所示，神經(jīng)元分層排列，各層神經(jīng)元接受前一層輸入并輸出到下一層，層內(nèi)神經(jīng)元自身以及神經(jīng)元之間不存在連接通路。圖2.9 單純層次型網(wǎng)絡(luò)結(jié)構(gòu)2.3.1.

31、1 層次型結(jié)構(gòu)(3/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (2)輸出層到輸入層有連接的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖2.10所示，輸出層到輸入層有連接路徑。輸入層神經(jīng)元既可接受輸入，也具有信息處理功能。2.3.1.1 層次型結(jié)構(gòu)(4/4)層次型網(wǎng)絡(luò)結(jié)構(gòu)有3種典型的結(jié)合方式。 (3)層內(nèi)有互連的層次型網(wǎng)絡(luò)結(jié)構(gòu) 圖2.11所示，這種結(jié)構(gòu)的特點(diǎn)是在同一層內(nèi)引入神經(jīng)元間的側(cè)向作用，使得能同時激活的神經(jīng)元個數(shù)可控，以實(shí)現(xiàn)各層神經(jīng)元的自組織。2.3.1.2 互連型結(jié)構(gòu)(1/2)對于互連型網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)中任意兩個節(jié)點(diǎn)之間都可能存在連接路徑，因此根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的互連程度將互連型網(wǎng)絡(luò)結(jié)構(gòu)細(xì)分為3種情況。(1)全互連型

32、網(wǎng)絡(luò)中的每個節(jié)點(diǎn)均與所有其他節(jié)點(diǎn)連接，如圖2.12所示。2.3.1.2 互連型結(jié)構(gòu)(2/2)(2)局部互連型 網(wǎng)絡(luò)中的每個節(jié)點(diǎn)只與其鄰近的節(jié)點(diǎn)有連接，如圖2.13所示。(3)稀疏連接型 網(wǎng)絡(luò)中的節(jié)點(diǎn)只與少數(shù)相距較遠(yuǎn)的節(jié)點(diǎn)相連。2.3.2 網(wǎng)絡(luò)信息流向類型從神經(jīng)網(wǎng)絡(luò)內(nèi)部信息傳遞方向來分，可分為兩種類型：前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)。 2.3.2.1 前饋型網(wǎng)絡(luò)(1/2)單純前饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.9中所示的分層網(wǎng)絡(luò)完全相同，前饋是因信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行而得名。從信息處理能力看，網(wǎng)絡(luò)中的節(jié)點(diǎn)可分為兩種：一種是輸入節(jié)點(diǎn)，只負(fù)責(zé)引入信息后向前傳遞給第一隱層；另一種是具有處理

33、能力的節(jié)點(diǎn)，包括各隱層和輸出層節(jié)點(diǎn)。2.3.2.1 前饋型網(wǎng)絡(luò)(2/2)在前饋型網(wǎng)絡(luò)中，一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。這類前饋型網(wǎng)絡(luò)很容易串聯(lián)起來建立多層前饋網(wǎng)絡(luò)。多層前饋網(wǎng)絡(luò)可以看成是一個有向無環(huán)路的網(wǎng)絡(luò)。其中輸入層記為網(wǎng)絡(luò)的第一層，第一個隱層記為網(wǎng)絡(luò)的第二層，其余類推。所以，當(dāng)提到具有單層計(jì)算神經(jīng)元的網(wǎng)絡(luò)時，指的應(yīng)是一個兩層前饋網(wǎng)絡(luò)（輸入層和輸出層），當(dāng)提到具有單隱層的網(wǎng)絡(luò)時，指的應(yīng)是一個三層前饋網(wǎng)絡(luò)（輸入層、隱層和輸出層）。2.3.2.2 反饋型網(wǎng)絡(luò)單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.12中的網(wǎng)絡(luò)結(jié)構(gòu)完全相同，稱為反饋網(wǎng)絡(luò)是指其信息流向的特

34、點(diǎn)。在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個節(jié)點(diǎn)既可以從外界接受輸入，同時又可以向外界輸出。2.3.2.2 反饋型網(wǎng)絡(luò)單純反饋型網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)與圖2.12中的網(wǎng)絡(luò)結(jié)構(gòu)完全相同，稱為反饋網(wǎng)絡(luò)是指其信息流向的特點(diǎn)。在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個節(jié)點(diǎn)既可以從外界接受輸入，同時又可以向外界輸出。單層全互連結(jié)構(gòu)網(wǎng)絡(luò)是一種典型的反饋型網(wǎng)絡(luò)，可以用圖2.14所示的完全的無向圖表示。以上介紹的人工神經(jīng)網(wǎng)絡(luò)模型的分類方法、結(jié)構(gòu)形式和信息流向只是對目前常見的網(wǎng)絡(luò)結(jié)構(gòu)的概括和抽象。 實(shí)際應(yīng)用的神經(jīng)網(wǎng)絡(luò)，可能同時兼有其中一種或幾種形式。例如，從連接形式看，層次型網(wǎng)絡(luò)中可能出現(xiàn)局部的互連；從信

35、息流向看，前饋網(wǎng)絡(luò)中可能出現(xiàn)局部反饋。神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素，其特點(diǎn)可歸納為分布式存儲記憶與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。2.4 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)的功能特性由其連接的拓?fù)浣Y(jié)構(gòu)和突觸連接強(qiáng)度，即連接權(quán)值決定。神經(jīng)網(wǎng)絡(luò)的全體連接權(quán)值可用一個矩陣表示，其整體內(nèi)容反映了神經(jīng)網(wǎng)絡(luò)對于所解決問題的知識存儲。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是對可變權(quán)值的動態(tài)調(diào)整。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因此有關(guān)學(xué)習(xí)的研

36、究在神經(jīng)網(wǎng)絡(luò)研究中具有重要地位。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法（亦稱訓(xùn)練規(guī)則或訓(xùn)練算法），如果只是單個處理單元，無論采用哪種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整，其算法都十分簡單。但當(dāng)大量處理單元集體進(jìn)行權(quán)值調(diào)整時，網(wǎng)絡(luò)就呈現(xiàn)出“智能”特性，其中有意義的信息就分布地存儲在調(diào)整后的權(quán)值矩陣中。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法很多，根據(jù)一種廣泛采用的分類方法，可將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法歸納為三類：一是有導(dǎo)師學(xué)習(xí)；二為無導(dǎo)師學(xué)習(xí)；三是死記式學(xué)習(xí)。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)1、有導(dǎo)師學(xué)習(xí)也稱為有監(jiān)督學(xué)習(xí)，這種學(xué)習(xí)模式采用的是糾錯規(guī)則。在學(xué)習(xí)訓(xùn)練過程中需要不斷給網(wǎng)絡(luò)成對地提供一個輸入模式和一個期望網(wǎng)絡(luò)正確輸出的模

37、式，稱為“教師信號”。將神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出進(jìn)行比較，當(dāng)網(wǎng)絡(luò)的輸出與期望的教師信號不符時，根據(jù)差錯的方向和大小按一定的規(guī)則調(diào)整權(quán)值，以使網(wǎng)絡(luò)的輸出更接近期望的輸出。對于有導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)在執(zhí)行工作任務(wù)之前必須先學(xué)習(xí)訓(xùn)練，當(dāng)網(wǎng)絡(luò)輸入均能產(chǎn)生所期望的輸出時，即認(rèn)為網(wǎng)絡(luò)已經(jīng)在導(dǎo)師的訓(xùn)練下“學(xué)會”了訓(xùn)練數(shù)據(jù)集中包含的知識和規(guī)則，可以用來進(jìn)行工作了。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的權(quán)值不再調(diào)整。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2、無導(dǎo)師學(xué)習(xí)也稱為無監(jiān)督學(xué)習(xí)。在學(xué)習(xí)過程中，需要不斷地給網(wǎng)絡(luò)提供動態(tài)輸入信息。網(wǎng)絡(luò)能根據(jù)特有的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)規(guī)則，在輸入信息流中發(fā)現(xiàn)任何可能存在的模式和規(guī)律，同時能根據(jù)網(wǎng)絡(luò)的功能和輸入信息調(diào)整權(quán)

38、值，這個過程稱為網(wǎng)絡(luò)的自組織，其結(jié)果是使網(wǎng)絡(luò)能對屬于同一類的模式進(jìn)行自動分類。在這種學(xué)習(xí)模式中，網(wǎng)絡(luò)的權(quán)值調(diào)整不取決于外來教師信號的影響，可以認(rèn)為網(wǎng)絡(luò)的學(xué)習(xí)評價(jià)標(biāo)準(zhǔn)隱含于網(wǎng)絡(luò)的內(nèi)部。對于無導(dǎo)師學(xué)習(xí)，網(wǎng)絡(luò)也是學(xué)習(xí)訓(xùn)練，后用來進(jìn)行工作。網(wǎng)絡(luò)工作時，網(wǎng)絡(luò)的權(quán)值不再調(diào)整。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)，哪種學(xué)習(xí)好了？在有導(dǎo)師學(xué)習(xí)中，提供給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的外部指導(dǎo)信息越多，神經(jīng)網(wǎng)絡(luò)學(xué)會并掌握的知識越多，解決問題的能力也就超強(qiáng)。但是，有時神經(jīng)網(wǎng)絡(luò)所解決的問題的先驗(yàn)信息很少，甚至沒有，這種情況下無導(dǎo)師學(xué)習(xí)就顯得更有實(shí)際意義。3、死記式學(xué)習(xí)是指網(wǎng)絡(luò)事先設(shè)計(jì)成能記憶特定的例子，在使用時，當(dāng)給定有關(guān)

39、該例子的輸入信息時，例子便被回憶起來。在死記式學(xué)習(xí)中，網(wǎng)絡(luò)的權(quán)值一旦設(shè)計(jì)好了就不再變動，因此其學(xué)習(xí)是一次性的(設(shè)計(jì))，而不是一個訓(xùn)練過程。2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和工作兩個階段。訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識和規(guī)律，并存儲于網(wǎng)絡(luò)中供工作階段使用。 在訓(xùn)練時，可以認(rèn)為，一個神經(jīng)元是一個自適應(yīng)單元，其權(quán)值可以根據(jù)它所接受的輸入信號、它的輸出信號以及對應(yīng)的監(jiān)督信號(希望的輸出)進(jìn)行調(diào)整。一種神經(jīng)網(wǎng)絡(luò)權(quán)值調(diào)整的通用學(xué)習(xí)規(guī)則，如圖2.15表示。 2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)通用學(xué)習(xí)規(guī)則可表達(dá)為：權(quán)向量Wj在t時刻的調(diào)整量 Wj(t)與t時刻的輸入向量X(t)和學(xué)習(xí)信號r的乘

40、積成正比。用數(shù)學(xué)式表示為 式中，為正數(shù), 稱為學(xué)習(xí)常數(shù), 其值決定了學(xué)習(xí)速率, 也稱學(xué)習(xí)率。 圖中r=r(Wj, X,dj)，代表學(xué)習(xí)信號，該信號通常是Wj和X的函數(shù)，也是教師信號dj的函數(shù)。不同的學(xué)習(xí)規(guī)則，對r(Wj, X, dj)有不同的定義，從而形成各種各樣的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則：下面對常用學(xué)習(xí)規(guī)則作一簡要介紹，其具體應(yīng)用將在后續(xù)各章中展開?；陔x散時間調(diào)整時，下一時刻的權(quán)向量應(yīng)為 2.4.1 Hebbian學(xué)習(xí)規(guī)則 2.4.2 Perceptron（感知器）學(xué)習(xí)規(guī)則 2.4.3 (Delta)學(xué)習(xí)規(guī)則 2.4.4 Widrow-Hoff學(xué)習(xí)規(guī)則 2.4.5 Correlation（相關(guān)）學(xué)

41、習(xí)規(guī)則 2.4.6 Winner-Take-All（勝者為王）學(xué)習(xí)規(guī)則 2.4.7 Outstar（外星）學(xué)習(xí)規(guī)則2.4 人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)2.4.1 Hebbian學(xué)習(xí)規(guī)則（1/3）1949年，心理學(xué)家D. O. Hebb最早提出了關(guān)于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的 “突觸修正” 的假設(shè)。該假設(shè)指出，當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時為正時，突觸傳導(dǎo)增強(qiáng)，當(dāng)前膜電位與后膜電位正負(fù)相反時，突觸傳導(dǎo)減弱，也就是說，當(dāng)神經(jīng)元與神經(jīng)元同時處于興奮狀態(tài)時，兩者之間的連接強(qiáng)度應(yīng)增強(qiáng)。根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法，稱為Hebbian學(xué)習(xí)規(guī)則。在Hebbian學(xué)習(xí)規(guī)則中, 學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出權(quán)向量的調(diào)整公式

42、為權(quán)向量中, 每個分量的調(diào)整由下式確定上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。在這種情況下，Hebbian學(xué)習(xí)規(guī)則需預(yù)先設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致時出現(xiàn)權(quán)值無約束增長。此外，權(quán)值還要初始化，即在學(xué)習(xí)開始前(t=0)，先對Wj(0)賦予零附近的小隨機(jī)數(shù)。下面用一個簡單的例子說明Hebbian學(xué)習(xí)規(guī)則的應(yīng)用。2.4.1 Hebbian學(xué)習(xí)規(guī)則（2/3）例2.1 設(shè)有4輸入單輸出神經(jīng)元網(wǎng)絡(luò)，其閾值T=0, 學(xué)習(xí)率=1, 3個輸入樣本向量和初始權(quán)向量分別為X1=(1, -2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5

43、)T , W(0)=(1, -1, 0, 0.5)T 。解：首先設(shè)轉(zhuǎn)移函數(shù)為雙極性離散函數(shù)f(net)=sgn(net)，權(quán)值調(diào)整步驟為：(1)輸入第一個樣本X1 ，計(jì)算凈輸入net1，并調(diào)整權(quán)向量W(1)(2)輸入第二個樣本X2，計(jì)算凈輸入net2，并調(diào)整權(quán)向量W(2)(3)輸入第二個樣本X3，計(jì)算凈輸入net3，并調(diào)整權(quán)向量W(3)可見，當(dāng)轉(zhuǎn)移函數(shù)為符號函數(shù)且時=1，Hebbian學(xué)習(xí)規(guī)則的權(quán)值調(diào)整將簡化為權(quán)向量與輸入向量的加或減。2.4.1 Hebbian學(xué)習(xí)規(guī)則（3/3）例2.1 設(shè)有4輸入單輸出神經(jīng)元網(wǎng)絡(luò)，其閾值T=0, 學(xué)習(xí)率=1, 3個輸入樣本向量和初始權(quán)向量分別為X1=(1,

44、-2, 1.5, 0)T, X2=(1, -0.5, -2, -1.5)T , X3=(0, 1, -1, 1.5)T , W(0)=(1, -1, 0, 0.5)T 。解(續(xù))：下面設(shè)傳遞函數(shù)為雙極性連續(xù)函數(shù)f(net)=(1-e-net)/(1+e-net)，權(quán)值調(diào)整步驟同上。(2)(3)比較兩種權(quán)值調(diào)整結(jié)果可以看出兩種轉(zhuǎn)移函數(shù)下的權(quán)值調(diào)整方向是一致的，但采用連續(xù)轉(zhuǎn)移函數(shù)時，權(quán)值調(diào)整力度減弱。 (1) 2.4.2 Perceptron(感知器)學(xué)習(xí)規(guī)則1958年，美國學(xué)者Frank Rosenblatt首次定義了一個具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，稱為感知器(Perceptron)。感知器

45、的學(xué)習(xí)規(guī)則規(guī)定：學(xué)習(xí)信號等于神經(jīng)元期望輸出(教師信號)與實(shí)際輸出之差 式中，當(dāng)實(shí)際輸出與期望值相同時，權(quán)值不需要調(diào)整；在有誤差存在情況下，由于dj、sgn(net)-1, 1，權(quán)值調(diào)整公式可簡化為式中dj為期望的輸出，oj=f(net)。感知器采用了與閾值轉(zhuǎn)移函數(shù)類似的符號轉(zhuǎn)移函數(shù)，其表達(dá)為因此，權(quán)值調(diào)整公式應(yīng)為感知器學(xué)習(xí)規(guī)則只適用于二進(jìn)制神經(jīng)元，初始權(quán)值可取任意值。(2.17) (2.18)(2.19a)(2.19b)(2.19c)2.4.3 (Delta)學(xué)習(xí)規(guī)則1986年，認(rèn)知心理學(xué)家McClelland和Rumelhart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了規(guī)則，該規(guī)則亦可稱為連續(xù)感知器學(xué)習(xí)規(guī)則。規(guī)

46、則的學(xué)習(xí)信號規(guī)定為上式定義的學(xué)習(xí)信號稱為。式中，f(netj)是轉(zhuǎn)移函數(shù)f(netj)的導(dǎo)數(shù)。顯然，規(guī)則要求轉(zhuǎn)移函數(shù)可導(dǎo)，因此只適用于有導(dǎo)師學(xué)習(xí)中定義的連續(xù)轉(zhuǎn)移函數(shù)如sigmoid函數(shù)。事實(shí)上, 規(guī)則很容易由輸出值與期望值的最小平方誤差條件推導(dǎo)出來。定義神經(jīng)元輸出與期望輸出之間的平方誤差為 (2.20)(2.21)式中，誤差E是權(quán)向量Wj的函數(shù)。欲使誤差E最小，Wj應(yīng)與誤差的負(fù)梯度成正比，即(2.22)式中, 比例系數(shù)是一個正常數(shù), E是誤差E的梯度， GRADIENT ( GRAD ) 。式(2.19)，誤差梯度是如何計(jì)算的？2.4.3 (Delta)學(xué)習(xí)規(guī)則可以看出，上式中與X之間的部分正

47、是式(2.20)中定義的學(xué)習(xí)信號，Wj中每個分量的調(diào)整由下式 (2.24b)計(jì)算，權(quán)值可初始化為任意值。 (2.23)(2.24a)(2.24b)式(2.23)，是如何得到的？由式(2.21 )，誤差梯度為 將此結(jié)果代入式(2.22 )，可得權(quán)值調(diào)整計(jì)算式2.4.3 (Delta)學(xué)習(xí)規(guī)則下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量內(nèi)，故有w0 = T，x0=-1，學(xué)習(xí)率=0.1，3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0.5, -1)T ， d1=-1，d2

48、=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。解: 設(shè)轉(zhuǎn)移函數(shù)為雙極性連續(xù)函數(shù)f(net)=(1-e-net)/(1+e-net), 權(quán)值調(diào)整步驟為: （1）輸入樣本X1，計(jì)算凈輸入net1及權(quán)向量W(1)2.4.3 (Delta)學(xué)習(xí)規(guī)則解(續(xù)): （2）輸入樣本X2，計(jì)算凈輸入net2及權(quán)向量W(2)下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量內(nèi)，故有w0 = T，x0=-1，學(xué)習(xí)率=0.1，3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0

49、.5, -1)T ， d1=-1，d2=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。2.4.3 (Delta)學(xué)習(xí)規(guī)則解(續(xù)): （3）輸入樣本X3，計(jì)算凈輸入net3及權(quán)向量W(3)下面舉例說明學(xué)習(xí)規(guī)則的應(yīng)用。例2.2 設(shè)有3輸入單輸出神經(jīng)元網(wǎng)絡(luò)，將閾值含于權(quán)向量內(nèi)，故有w0 = T，x0=-1，學(xué)習(xí)率=0.1，3個輸入向量和初始權(quán)向量分別為X1=(-1, 1, -2, 0)T，X2=(-1, 0, 1.5, -0.5)T， X3=(-1, 1, 0.5, -1)T ， d1=-1，d2=-1，d3=1， W(0) = (0.5, 1, -1, 0)T。2.4.4 Wi

50、drow-Hoff（LMS）學(xué)習(xí)規(guī)則1962年，Bernard Widrow和Marcian Hoff提出了Widrow-Hoff學(xué)習(xí)規(guī)則，又稱為最小均方規(guī)則(LMS)。Widrow-Hoff學(xué)習(xí)規(guī)則的學(xué)習(xí)信號為 權(quán)向量調(diào)整量為W的各分量為 實(shí)際上，如果在學(xué)習(xí)規(guī)則中設(shè)定神經(jīng)元轉(zhuǎn)移函數(shù)為f(net)=net，則有f(net)=1，此時式(2.20)與式(2.25)相同。因此，Widrow-Hoff學(xué)習(xí)規(guī)則可以看成是學(xué)習(xí)規(guī)則的一個特殊情況。該學(xué)習(xí)規(guī)則與神經(jīng)元采用的轉(zhuǎn)移函數(shù)無關(guān)，因而不需要對轉(zhuǎn)移函數(shù)求導(dǎo)數(shù)，不僅學(xué)習(xí)速度較快，而且具有較高的精度。權(quán)值可初始化為任意值。 (2.25)(2.26a)(2.

51、26b)2.4.5 Correlation(相關(guān))學(xué)習(xí)規(guī)則相關(guān)學(xué)習(xí)規(guī)則規(guī)定學(xué)習(xí)信號為易得出W及wij分別為該規(guī)則表明，當(dāng)dj是xi的期望輸出時，相應(yīng)的權(quán)值增量wij與兩者的乘積djxi成正比。(2.27)(2.28a)(2.28b)如果Hebbian學(xué)習(xí)規(guī)則中的轉(zhuǎn)移函數(shù)為二進(jìn)制函數(shù)，且有oj=dj，則相關(guān)學(xué)習(xí)規(guī)則可看做Hebbian規(guī)則的一種特殊情況。應(yīng)當(dāng)注意的是，Hebbian學(xué)習(xí)規(guī)則是無導(dǎo)師學(xué)習(xí)，而相關(guān)學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí)。這種學(xué)習(xí)規(guī)則要求將權(quán)值初始化為零。 2.4.6 Winner-Take-All(勝者為王)學(xué)習(xí)規(guī)則Winner-Take-All學(xué)習(xí)規(guī)則是一種競爭學(xué)習(xí)規(guī)則，用于無導(dǎo)師學(xué)

52、習(xí)。一般將網(wǎng)絡(luò)的某一層確定為競爭層，對于一個特定的輸入X，競爭層的所有p個神經(jīng)元均有輸出響應(yīng)，其中響應(yīng)值最大的神經(jīng)元為在競爭中獲勝的神經(jīng)元，即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量Wm，調(diào)整量為式中，(0, 1，是學(xué)習(xí)常數(shù)，一般其值隨著學(xué)習(xí)的進(jìn)展而減小。由于兩個向量的點(diǎn)積越大，表明兩者越近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的結(jié)果是使Wm進(jìn)一步接近當(dāng)前輸入X。顯然，當(dāng)下次出現(xiàn)與X相像的輸入模式時，上次獲勝的神經(jīng)元更容易獲勝。在反復(fù)的競爭學(xué)習(xí)過程中，競爭層的各神經(jīng)元所對應(yīng)的權(quán)向量被逐漸調(diào)整為輸入樣本空間的聚類中心。在有些應(yīng)用中，以獲勝神經(jīng)元為中心定義一個獲勝鄰域除獲勝神經(jīng)元調(diào)整權(quán)值外，鄰城內(nèi)的其他神經(jīng)元也程度不

53、同地調(diào)整權(quán)值。權(quán)值一般被初始化為任意值并進(jìn)行歸一化處理。(2.29)(2.30)j*2.4.7 Outstar(外星)學(xué)習(xí)規(guī)則神經(jīng)網(wǎng)絡(luò)中有兩類常見節(jié)點(diǎn)，分別稱為內(nèi)星節(jié)點(diǎn)和外星節(jié)點(diǎn)，其特點(diǎn)見圖2.16。圖2.16(a)中的內(nèi)星節(jié)點(diǎn)總是接受來自四面八方的輸入加權(quán)信號，因此是信號的匯聚點(diǎn)，對應(yīng)的權(quán)值向量稱為內(nèi)星權(quán)向量，圖2.16(b)中的外星節(jié)點(diǎn)總是向四面八方發(fā)出輸出加權(quán)信號，因此是信號的發(fā)散點(diǎn)，對應(yīng)的權(quán)值向量稱為外星權(quán)向量。2.4.7 Outstar(外星)學(xué)習(xí)規(guī)則下面介紹外星學(xué)習(xí)規(guī)則。 外星學(xué)習(xí)規(guī)則屬于有導(dǎo)師學(xué)習(xí)，其目的是為了生成一個期望的維輸出向量，設(shè)對應(yīng)的外星權(quán)向量用表示，學(xué)習(xí)規(guī)則如下式中，

54、的規(guī)定與作用與式（2.30）的相向。正像式（2.30）給出的內(nèi)星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的內(nèi)星權(quán)向量向輸入向量靠近一樣，式（2.31）給出的外星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)對應(yīng)的外星權(quán)向量向期望輸出向量靠近。(2.31)(2.30)以上集中介紹了神經(jīng)網(wǎng)絡(luò)中幾種常用的學(xué)習(xí)規(guī)則，有些規(guī)則之間有著內(nèi)在聯(lián)系，讀者可通過比較體會其異同。對上述各種學(xué)習(xí)規(guī)則的對比總結(jié)列于表2.1中。 本章小結(jié)本章重點(diǎn)介紹了生物神經(jīng)元的結(jié)構(gòu)及其信息處理機(jī)制、人工神經(jīng)元數(shù)理模型、常見的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)以及學(xué)習(xí)規(guī)則。其中，神經(jīng)元的數(shù)學(xué)模型、神經(jīng)網(wǎng)絡(luò)的連接方式以及神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的三大要素，因而是本章學(xué)習(xí)的重點(diǎn)。(1)生物神經(jīng)

55、元的信息處理 (2)神經(jīng)元模型(3)神經(jīng)網(wǎng)絡(luò)模型(4)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)作業(yè)2.1 人工神經(jīng)元模型是如何體現(xiàn)生物神經(jīng)元的結(jié)構(gòu)和信息處理機(jī)制的?2.2 若權(quán)值只能按1或-1變化，對神經(jīng)元的學(xué)習(xí)有何影響？試舉例說明。補(bǔ)充題：請給出典型的人工神經(jīng)元模型結(jié)構(gòu)并加以說明。2.3 舉例說明什么是有導(dǎo)師學(xué)習(xí)和無導(dǎo)師學(xué)習(xí)？2.4 雙輸入單輸出神經(jīng)網(wǎng)絡(luò)，初始權(quán)向量W(0)=1，-1T，學(xué)習(xí)率=1， 4個輸入向量為X1=1，-2T，X2=0，1T，X3=2，3T，X4=1，1T，若采用Hebb學(xué)習(xí)規(guī)則，對以下兩種情況求第四步訓(xùn)練后的權(quán)向量W(4)=?，?T： (1)神經(jīng)元采用離散型轉(zhuǎn)移函數(shù)f(net)=sgn(net)； (2)神經(jīng)元采用雙極性連續(xù)型轉(zhuǎn)移函數(shù)f(net)=(1-e-net)/(1+e-net)。 作業(yè)2.5 某神經(jīng)網(wǎng)絡(luò)的轉(zhuǎn)移函數(shù)為符號函數(shù)f(net)=sgn(net)，學(xué)習(xí)率=1，初始權(quán)向量W(0)=0, 1, 0T， 兩對輸入樣本為 X1=2, 1, -1T，d1=-1； X2=0, -1, -1T，d2=1。試用感知器學(xué)習(xí)規(guī)則對以上樣本進(jìn)行反復(fù)訓(xùn)練，直到網(wǎng)絡(luò)輸出誤差為零，寫出每一訓(xùn)練步的凈輸入net(t)。2.6 某神經(jīng)網(wǎng)絡(luò)采用雙極性Sigmoid函數(shù)，學(xué)習(xí)率=0.25，初始權(quán)向量W(0)=1, 0, 1