神經(jīng)網(wǎng)絡(luò)第二章

神經(jīng)網(wǎng)絡(luò)第二章第1頁，共48頁，2023年，2月20日，星期六2.1人工神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)人類大腦大約包含有1.41011個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103～105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元(Neuron)是腦組織的基本單元，是人腦信息處理系統(tǒng)的最小單元。2第2頁，共48頁，2023年，2月20日，星期六生物神經(jīng)元的主要內(nèi)容生物神經(jīng)元的結(jié)構(gòu)生物神經(jīng)元信息處理機(jī)制信息的產(chǎn)生信息的傳遞和接受信息的整合3第3頁，共48頁，2023年，2月20日，星期六2.1.1生物神經(jīng)元的結(jié)構(gòu)

生物神經(jīng)元在結(jié)構(gòu)上由

細(xì)胞體(Cellbody)

樹突(Dendrite):

接受輸入信號(hào)

軸突(Axon)：傳出信號(hào)

突觸(Synapse)：輸入輸出接口

四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。4第4頁，共48頁，2023年，2月20日，星期六細(xì)胞體5第5頁，共48頁，2023年，2月20日，星期六6第6頁，共48頁，2023年，2月20日，星期六2.1.2生物神經(jīng)元的信息處理機(jī)理一、信息的產(chǎn)生

神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。7第7頁，共48頁，2023年，2月20日，星期六靜息:無信息輸入時(shí)，神經(jīng)元細(xì)胞膜內(nèi)外因離子濃度差而造成的電位差為-70mV（內(nèi)負(fù)外正）左右，稱為靜息電位，此時(shí)細(xì)胞膜的狀態(tài)稱為極化狀態(tài)，神經(jīng)元的狀態(tài)稱為靜息狀態(tài)。興奮：當(dāng)神經(jīng)元受到外界刺激時(shí)，如果膜電位從靜息電位向正偏移，稱為去極化，此時(shí)神經(jīng)元處于興奮狀態(tài)；抑制：如果膜電位從靜息電位向負(fù)偏移，稱為超級化，此時(shí)神經(jīng)元處于抑制狀態(tài)。8神經(jīng)元的狀態(tài)第8頁，共48頁，2023年，2月20日，星期六9第9頁，共48頁，2023年，2月20日，星期六二、信息的傳遞與接收10第10頁，共48頁，2023年，2月20日，星期六三、信息的整合空間整合：同一時(shí)刻產(chǎn)生的刺激所引起的膜電位變化，大致等于各單獨(dú)刺激引起的膜電位變化的代數(shù)和。11時(shí)間整合：各輸入脈沖抵達(dá)神經(jīng)元的時(shí)間先后不一樣?？偟耐挥|后膜電位為一段時(shí)間內(nèi)的累積。第11頁，共48頁，2023年，2月20日，星期六四、生物神經(jīng)網(wǎng)絡(luò)

由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)

相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息

處理功能的簡單疊加。

神經(jīng)元之間的突觸連接方式和連接強(qiáng)度不

同并且具有可塑性，這使神經(jīng)網(wǎng)絡(luò)在宏觀

呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。12第12頁，共48頁，2023年，2月20日，星期六

神經(jīng)元及其突觸是神經(jīng)網(wǎng)絡(luò)的基本器件。因此，模擬生物神經(jīng)網(wǎng)絡(luò)應(yīng)首先模擬生物神經(jīng)元人工神經(jīng)元(節(jié)點(diǎn))

從三個(gè)方面進(jìn)行模擬:節(jié)點(diǎn)本身的信息處理能力(數(shù)學(xué)模型)節(jié)點(diǎn)與節(jié)點(diǎn)之間連接(拓?fù)浣Y(jié)構(gòu))相互連接的強(qiáng)度(通過學(xué)習(xí)來調(diào)整)2.2神經(jīng)元的人工模型13第13頁，共48頁，2023年，2月20日，星期六(1)每個(gè)神經(jīng)元都是一個(gè)多輸入單輸出的信息處理單元；(2)神經(jīng)元輸入分興奮性輸入和抑制性輸入兩種類型；(6)神經(jīng)元本身是非時(shí)變的，即其突觸時(shí)延和突觸強(qiáng)度均為常數(shù)。(3)神經(jīng)元具有空間整合特性和閾值特性；(4)神經(jīng)元輸入與輸出間有固定的時(shí)滯,主要取決于突觸延擱；(5)忽略時(shí)間整合作用和不應(yīng)期；模型的六點(diǎn)假設(shè)：2.2.1神經(jīng)元的建模14第14頁，共48頁，2023年，2月20日，星期六假設(shè)1：多輸入單輸出圖(a)表明，正如生物神經(jīng)元有許多激勵(lì)輸入一樣，人工神經(jīng)元也應(yīng)該有許多的輸入信號(hào)，圖中每個(gè)輸入的大小用確定數(shù)值xi表示，它們同時(shí)輸入神經(jīng)元j，神經(jīng)元的單輸出用oj表示。15第15頁，共48頁，2023年，2月20日，星期六假設(shè)2：興奮性和抑制性輸入生物神經(jīng)元具有不同的突觸性質(zhì)和突觸強(qiáng)度，使有些輸入在神經(jīng)元產(chǎn)生脈沖輸出過程中所起的作用比另外一些輸入更為重要。圖(b)中對神經(jīng)元的每一個(gè)輸入都有一個(gè)加權(quán)系數(shù)wij，稱為權(quán)重值，其正負(fù)模擬了生物神經(jīng)元中突觸的興奮和抑制，其大小則代表了突觸的不同連接強(qiáng)度。16第16頁，共48頁，2023年，2月20日，星期六假設(shè)3：空間整合特性和閾值特性作為ANN的基本處理單元，必須對全部輸入信號(hào)進(jìn)行整合，以確定各類輸入的作用總效果，圖(c)表示組合輸人信號(hào)的“總和值”，相應(yīng)于生物神經(jīng)元的膜電位。神經(jīng)元激活與否取決于某一閾值電平，即只有當(dāng)其輸入總和超過閾值時(shí),神經(jīng)元才被激活而發(fā)放脈沖,否則神經(jīng)元不會(huì)產(chǎn)生輸出信號(hào)。17第17頁，共48頁，2023年，2月20日，星期六神經(jīng)元的輸出圖(d)人工神經(jīng)元的輸出也同生物神經(jīng)元一樣僅有一個(gè)，如用oj表示神經(jīng)元輸出，則輸出與輸入之間的對應(yīng)關(guān)系可用圖(d)中的某種非線性函數(shù)來表示，這種函數(shù)一般都是非線性的。18第18頁，共48頁，2023年，2月20日，星期六神經(jīng)元模型示意圖19第19頁，共48頁，2023年，2月20日，星期六2.2.2神經(jīng)元的數(shù)學(xué)模型τij——輸入輸出間的突觸時(shí)延；

Tj——神經(jīng)元j的閾值；

wij——神經(jīng)元i到j(luò)的突觸連接系數(shù)或稱權(quán)重值；

f(

)——神經(jīng)元轉(zhuǎn)移函數(shù)。用一個(gè)數(shù)學(xué)表達(dá)式進(jìn)行抽象與概括：20為簡便，將突觸時(shí)延取為單位時(shí)間，得第20頁，共48頁，2023年，2月20日，星期六(2.3)net’j=WjTX

Wj=(w1j,w2j,

…,wnj)TX=(x1x2…xn)T(2.4)2.2.2神經(jīng)元的數(shù)學(xué)模型“輸入總和”常稱為神經(jīng)元在t時(shí)刻的凈輸入，用下面的式子表示21第21頁，共48頁，2023年，2月20日，星期六2.2.2神經(jīng)元的數(shù)學(xué)模型(2.5)oj=f(netj)=f(WjTX)(2.6)凈輸入與閾值之差可表達(dá)為凈輸入改寫為netj，與原來的區(qū)別是包含了閾值(2.4)中列向量Wj和X的第一個(gè)分量的下標(biāo)均從1開始，而式(2.5)中則從0開始

令x0=-1，w0j=Tj，

則有-Tj=x0w0j22第22頁，共48頁，2023年，2月20日，星期六2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)

神經(jīng)元各種不同數(shù)學(xué)模型的主要區(qū)別在于采用了不同的轉(zhuǎn)移函數(shù)，從而使神經(jīng)元具有不同的信息處理特性。神經(jīng)元的信息處理特性是決定人工神經(jīng)網(wǎng)絡(luò)整體性能的三大要素之一，反映了神經(jīng)元輸出與其激活狀態(tài)之間的關(guān)系，最常用的轉(zhuǎn)移函數(shù)有4種形式。23第23頁，共48頁，2023年，2月20日，星期六2.2.3神經(jīng)元的轉(zhuǎn)移函數(shù)(1)閾值型轉(zhuǎn)移函數(shù)(單位階躍函數(shù)，又稱為硬限幅函數(shù))

1x≥0

f(x)=(2.7) 0x＜0

24第24頁，共48頁，2023年，2月20日，星期六(2)非線性轉(zhuǎn)移函數(shù)(實(shí)數(shù)域R到[0,1]閉集的非減連續(xù)函數(shù)，代表了狀態(tài)連續(xù)型神經(jīng)元模型,函數(shù)本身及其導(dǎo)數(shù)都是連續(xù)的，便于處理)雙極性單極性25第25頁，共48頁，2023年，2月20日，星期六(3)分段線性轉(zhuǎn)移函數(shù)（一定區(qū)間內(nèi)滿足線性關(guān)系，模擬了實(shí)際系統(tǒng)中的飽和特性。）

0x≤0 f(x)= cx

0＜

x≤xc(2.9)

1

xc＜

x 26第26頁，共48頁，2023年，2月20日，星期六(4)概率型轉(zhuǎn)移函數(shù)（輸入與輸出之間的關(guān)系是不確定的，需用一個(gè)隨機(jī)函數(shù)來描述輸出狀態(tài)為1或?yàn)?的概率）設(shè)神經(jīng)元輸出為1的概率為：溫度參數(shù)由于采用該轉(zhuǎn)移函數(shù)的神經(jīng)元輸出狀態(tài)分布與熱力學(xué)中的玻爾茲曼（Boltzmann）分布相類似，因此這種神經(jīng)元模型也稱為熱力學(xué)模型。27第27頁，共48頁，2023年，2月20日，星期六2.3人工神經(jīng)網(wǎng)絡(luò)模型分類：按網(wǎng)絡(luò)連接的拓?fù)浣Y(jié)構(gòu)分類層次型結(jié)構(gòu)互連型網(wǎng)絡(luò)結(jié)構(gòu)按網(wǎng)絡(luò)內(nèi)部的信息流向分類前饋型網(wǎng)絡(luò)反饋型網(wǎng)絡(luò)28第28頁，共48頁，2023年，2月20日，星期六2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型互連型網(wǎng)絡(luò)結(jié)構(gòu)：網(wǎng)絡(luò)中任意兩個(gè)節(jié)點(diǎn)之間都可能存在連接路徑，根據(jù)網(wǎng)絡(luò)中節(jié)點(diǎn)的互連程度將它細(xì)分為三種情況：全互連型結(jié)構(gòu)局部互連型網(wǎng)絡(luò)結(jié)構(gòu)稀疏連接型層次型結(jié)構(gòu)：將神經(jīng)元按功能分成若干層，如輸入層、中間層（隱層）和輸出層，各層順序相連。有3種典型結(jié)合方式：單純層次型結(jié)構(gòu)輸出層到輸入層有連接層內(nèi)有連接層次型結(jié)構(gòu)29第29頁，共48頁，2023年，2月20日，星期六2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型（層次型結(jié)構(gòu)）

單純層次型結(jié)構(gòu)30第30頁，共48頁，2023年，2月20日，星期六2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型（層次型結(jié)構(gòu)）輸出層到輸入層有連接31第31頁，共48頁，2023年，2月20日，星期六2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型（層次型結(jié)構(gòu)）

層內(nèi)有連接層次型結(jié)構(gòu)32第32頁，共48頁，2023年，2月20日，星期六2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型（互連型結(jié)構(gòu)）全互連型結(jié)構(gòu)33第33頁，共48頁，2023年，2月20日，星期六局部互連型網(wǎng)絡(luò)結(jié)構(gòu)2.3.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類型（互連型結(jié)構(gòu)）34第34頁，共48頁，2023年，2月20日，星期六2.3.2網(wǎng)絡(luò)信息流向類型前饋型網(wǎng)絡(luò)前饋:網(wǎng)絡(luò)信息處理的方向是從輸入層到各隱層再到輸出層逐層進(jìn)行反饋型網(wǎng)絡(luò)在反饋網(wǎng)絡(luò)中所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出。35第35頁，共48頁，2023年，2月20日，星期六前饋型網(wǎng)絡(luò)輸入節(jié)點(diǎn):只負(fù)責(zé)從外界引入信息后向前傳遞給第一隱層；具有處理能力的節(jié)點(diǎn):包括各隱層和輸出層節(jié)點(diǎn)。前饋網(wǎng)絡(luò)中一層的輸出是下一層的輸入，信息的處理具有逐層傳遞進(jìn)行的方向性，一般不存在反饋環(huán)路。36第36頁，共48頁，2023年，2月20日，星期六反饋型網(wǎng)絡(luò)所有節(jié)點(diǎn)都具有信息處理功能，而且每個(gè)節(jié)點(diǎn)既可以從外界接收輸入，同時(shí)又可以向外界輸出37第37頁，共48頁，2023年，2月20日，星期六神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是決定神經(jīng)網(wǎng)絡(luò)特性的第二大要素，其特點(diǎn)可歸納為分布式存儲(chǔ)與分布式信息處理、高度互連性、高度并行性和結(jié)構(gòu)可塑性。38第38頁，共48頁，2023年，2月20日，星期六2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)學(xué)習(xí)的定義：“根據(jù)與環(huán)境的相互作用而發(fā)生的行為改變，其結(jié)果導(dǎo)致對外界刺激產(chǎn)生反應(yīng)的新模式的建立”。神經(jīng)網(wǎng)絡(luò)能夠通過對樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。39第39頁，共48頁，2023年，2月20日，星期六神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式是決定神經(jīng)網(wǎng)絡(luò)信息處理性能的第三大要素，因?yàn)橛嘘P(guān)學(xué)習(xí)的研究在神經(jīng)網(wǎng)絡(luò)研究中具有重要的地位。三大要素神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)轉(zhuǎn)移函數(shù)2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)40第40頁，共48頁，2023年，2月20日，星期六人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。概念：改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法（亦稱訓(xùn)練規(guī)則或訓(xùn)練算法）。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)類型：有導(dǎo)師學(xué)習(xí)(有監(jiān)督學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(無監(jiān)督學(xué)習(xí))灌輸式學(xué)習(xí)(一開始就設(shè)定好權(quán)值，不再改變)41第41頁，共48頁，2023年，2月20日，星期六學(xué)習(xí)的過程（權(quán)值調(diào)整的一般情況）通用學(xué)習(xí)規(guī)則：權(quán)向量在t

時(shí)刻的調(diào)整量與t

時(shí)刻的輸入向量和學(xué)習(xí)信號(hào)r的乘積成正比。42第42頁，共48頁，2023年，2月20日，星期六43Outstar

有導(dǎo)師第43頁，共48頁，2023年，2月20日，星期六例2.1設(shè)有4輸入單