類神經(jīng)網(wǎng)路之簡(jiǎn)介課件

第一章

類神經(jīng)網(wǎng)路之簡(jiǎn)介第一章類神經(jīng)網(wǎng)路之簡(jiǎn)介11.1簡(jiǎn)介電腦的有效性仍然令我們失望，譬如說(shuō)在影像辨識(shí)、語(yǔ)音辯認(rèn)、以及決策處理等方面的問(wèn)題上。

在於數(shù)位電腦基本架構(gòu)的限制，因其本質(zhì)上就只能根據(jù)使用者撰寫的電腦程式來(lái)執(zhí)行運(yùn)算。

期望能夠設(shè)計(jì)出一部能像人類大腦一樣，能夠?qū)W習(xí)及具有智慧的機(jī)器，如此一來(lái)，許多複雜難解、或有生命危險(xiǎn)等高難度的工作，便可以交由此等智慧型的機(jī)器來(lái)完成。1.1簡(jiǎn)介電腦的有效性仍然令我們失望，譬如說(shuō)在影像辨識(shí)、語(yǔ)21.2 生物神經(jīng)網(wǎng)路(1)如何藉助生物神經(jīng)系統(tǒng)處理資訊的模式及架構(gòu)，來(lái)設(shè)計(jì)出有智慧的機(jī)器是一大挑戰(zhàn)。

圖1.1：

人類神經(jīng)系統(tǒng)示意圖。

1.2 生物神經(jīng)網(wǎng)路(1)如何藉助生物神經(jīng)系統(tǒng)處理資訊的模31.2 生物神經(jīng)網(wǎng)路(2)人類對(duì)大腦的正確認(rèn)知，是藉由逐漸地修正錯(cuò)誤知識(shí)而形成的。18世紀(jì)初，弗盧杭從移除各種動(dòng)物的大腦的不同區(qū)域的實(shí)驗(yàn)中，觀察有哪些功能仍能遺留下來(lái)？最後他認(rèn)定腦部各區(qū)不可能具有不同的功能。但有些人卻認(rèn)為腦部可區(qū)分成明確的區(qū)域，此派學(xué)說(shuō)以高爾醫(yī)生最為著名。發(fā)展成『腦相術(shù)』。

1.2 生物神經(jīng)網(wǎng)路(2)人類對(duì)大腦的正確認(rèn)知，是藉由逐漸4腦部相關(guān)資訊(1)18世紀(jì)初，弗盧杭從移除腦的不同區(qū)域?qū)嶒?yàn)中，得知腦部是整體而不具有特定區(qū)域功能。尺寸的不同：腦部越大，越聰明？大象是人的五倍。腦部與體重之比例：比例越大，越聰明？大象是0.2%，人是2.33%，地鼠是3.33%。大腦皮質(zhì)皺摺複雜度及面積：越大，越聰明？地鼠是郵票大小、黑猩猩是A4大小、人是4xA4大小(厚)、海豚比人還大(薄)。腦部相關(guān)資訊(1)18世紀(jì)初，弗盧杭從移除腦的不同區(qū)域?qū)嶒?yàn)5腦部相關(guān)資訊(2)經(jīng)過(guò)數(shù)百年演化，大腦逐漸由下層組織發(fā)展出高階之上層組織，如圖1.1所示。人類胚胎的大腦大抵遵循此發(fā)展。腦部相關(guān)資訊(2)經(jīng)過(guò)數(shù)百年演化，大腦逐漸由下層組織發(fā)展出6類神經(jīng)網(wǎng)路之簡(jiǎn)介課件7腦部相關(guān)資訊(3)人類的大腦具有

(1)腦幹(brainstem)：又稱爬蟲類大腦

。負(fù)責(zé)呼吸等基本生命功，並控制生存所必須之反應(yīng)及運(yùn)動(dòng)。純粹機(jī)械性、無(wú)意識(shí)的過(guò)程；

(2)邊緣系統(tǒng)(limbicsystem)：又稱哺乳類大腦。情緒中樞，進(jìn)化過(guò)程中又逐漸多了學(xué)習(xí)及記憶功能；

(3)大腦新皮層(neocortex)

：大腦的最外層的皺摺組織，思考重鎮(zhèn)，有了它才使得人與其他生物之差別[2]。腦部相關(guān)資訊(3)人類的大腦具有8腦部相關(guān)資訊(4)(a)人類大腦組織示意圖(本圖摘自[9])

腦部相關(guān)資訊(4)(a)人類大腦組織示意圖(本圖摘自[9]9類神經(jīng)網(wǎng)路之簡(jiǎn)介課件10類神經(jīng)網(wǎng)路之簡(jiǎn)介課件11腦部相關(guān)資訊(5)腦電波(EEG，Electroencephalography)、核磁共振(MRI，MagneticResonanceImaging)、功能性核磁共振(fMRI)、正子斷層掃描(PET，PositionEmissionTopography)、近紅外光光譜儀(NIRS，Near-infra-redSpectroscopy)、以及腦磁波(MEG，Magnetoencephalography)等。近數(shù)十年來(lái)，認(rèn)知科學(xué)的興起，讓人類對(duì)大腦的全盤認(rèn)識(shí)，越來(lái)越有指日可待的期盼。

腦部相關(guān)資訊(5)腦電波(EEG，Electroencep12摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯13摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯14類神經(jīng)網(wǎng)路之簡(jiǎn)介課件15類神經(jīng)網(wǎng)路之簡(jiǎn)介課件16類神經(jīng)網(wǎng)路之簡(jiǎn)介課件17類神經(jīng)網(wǎng)路之簡(jiǎn)介課件18類神經(jīng)網(wǎng)路之簡(jiǎn)介課件19生物類別(1)達(dá)爾文生物生物類別(1)達(dá)爾文生物20生物類別(2)史金納生物生物類別(2)史金納生物21生物類別(3)巴柏生物生物類別(3)巴柏生物22生物類別(4)格雷利高生物生物類別(4)格雷利高生物23能力來(lái)源遺傳及後天環(huán)境刺激能力來(lái)源遺傳及後天環(huán)境刺激24摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯25摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯26類神經(jīng)網(wǎng)路之簡(jiǎn)介課件27如何看待刺激？如何看待刺激？28類神經(jīng)網(wǎng)路之簡(jiǎn)介課件29類神經(jīng)網(wǎng)路之簡(jiǎn)介課件30Illusion(1)Illusion(1)31Illusion(2)Illusion(2)321.2 生物神經(jīng)網(wǎng)路(3)基本上，有兩種不同的途逕來(lái)嘗試研究大腦的功能。第一種屬於由下而上的方式，通常生物神經(jīng)學(xué)家(neurobiologists)採(cǎi)用此種方式，藉由對(duì)單一神經(jīng)細(xì)胞的刺激與反應(yīng)(stimulus-response)特徵的瞭解，進(jìn)而對(duì)由神經(jīng)細(xì)胞聯(lián)結(jié)而成的網(wǎng)路能有所認(rèn)識(shí)；而心理學(xué)家(psychologists)採(cǎi)取的是由上而下的途逕，他們從知覺(cognition)與行為反應(yīng)來(lái)瞭解大腦。

目前我們對(duì)大腦運(yùn)作模式的瞭解仍然十分有限。

人類的神經(jīng)系統(tǒng)可視為三個(gè)子系統(tǒng)所互相協(xié)調(diào)而成的複合系統(tǒng)，如圖1.1所示。

1.2 生物神經(jīng)網(wǎng)路(3)基本上，有兩種不同的途逕來(lái)嘗試研33圖1.1：

人類神經(jīng)系統(tǒng)示意圖。圖1.1：人類神經(jīng)系統(tǒng)示意圖。341.3 生物神經(jīng)細(xì)胞(1)1872年發(fā)生了神經(jīng)科學(xué)史上的重大突破，義大利的年輕醫(yī)學(xué)院畢業(yè)生高基用肉眼看到腦部的最基本的構(gòu)成單元─神經(jīng)細(xì)胞的重大發(fā)現(xiàn)[1]。

人類的大腦是由大約1011

個(gè)神經(jīng)細(xì)胞(nervecells)所構(gòu)成，每個(gè)神經(jīng)細(xì)胞又經(jīng)由約104

個(gè)突觸(synapses)與其它神經(jīng)細(xì)胞互相聯(lián)結(jié)成一個(gè)複雜，但具有平行處理能力的資訊處理系統(tǒng)。

一個(gè)典型的神經(jīng)元可分為

(1)細(xì)胞本體(soma)、(2)軸突(axon)、以及(3)樹突(dendrites)

等三部份。

圖1.2：生物神經(jīng)細(xì)胞示意圖。

1.3 生物神經(jīng)細(xì)胞(1)1872年發(fā)生了神經(jīng)科學(xué)史上的重35類神經(jīng)網(wǎng)路之簡(jiǎn)介課件36類神經(jīng)網(wǎng)路之簡(jiǎn)介課件371.3 生物神經(jīng)細(xì)胞(2)樹突的主要功能就是接受其它神經(jīng)元所傳遞而來(lái)的信號(hào)。若導(dǎo)致位於軸突丘

的細(xì)胞膜電位

超過(guò)某一特定閥值(threshold)時(shí)，則所謂的「活化電位」(actionpotential)的脈衝就會(huì)被激發(fā)出來(lái)。藉由管狀似的軸突傳遞至其它相連接的神經(jīng)元。軸突的終點(diǎn)處是「突觸」，這種細(xì)胞間的信號(hào)傳遞以化學(xué)性的方式居多。

圖1.3：神經(jīng)信號(hào)之傳遞。

1.3 生物神經(jīng)細(xì)胞(2)樹突的主要功能就是接受其它神經(jīng)元38類神經(jīng)網(wǎng)路之簡(jiǎn)介課件391.3.1生物電位與活化電位

(1)細(xì)胞內(nèi)外充滿了含有陰離子(如：氯離子，Cl-)及陽(yáng)離子(如：鈉離子、鉀離子、鈣離子，Na+,K+,及Ca+2

等)的電解液。細(xì)胞的外圍是一層半滲透性的組織，此組織稱為細(xì)胞膜。這些離子在

(1)滲透壓和

(2)電場(chǎng)效應(yīng)的影響下，最後會(huì)達(dá)到一種平衡狀態(tài)，使得鉀離子大部份位在細(xì)胞體內(nèi)，而鈉離子大部份位在細(xì)胞體外，這時(shí)細(xì)胞便呈現(xiàn)約-85mv的「休止電位」(restingpotential)。圖1.4：理想化之細(xì)胞模型。

1.3.1生物電位與活化電位(1)細(xì)胞內(nèi)外充滿了含有陰離401.3.1生物電位與活化電位

(2)我們可以用Goldman(或GHK)式子來(lái)計(jì)算細(xì)胞膜電位[1]：其中PNa、PK和PCl代表鈉、鉀、和氯離子穿透細(xì)胞膜的係數(shù)，下標(biāo)i和o分別代表細(xì)胞內(nèi)與外，K、Na、和Cl代表離子濃度。1.3.1生物電位與活化電位(2)我們可以用Goldma411.3.1生物電位與活化電位

(3)大多數(shù)的哺乳類動(dòng)物的神經(jīng)細(xì)胞，其休止電位差大約都接近-70mv

。當(dāng)神經(jīng)細(xì)胞被刺激時(shí)，在樹突部位的細(xì)胞膜的特性會(huì)被改變，使得鈉離子可以進(jìn)入細(xì)胞內(nèi)，導(dǎo)致細(xì)胞膜電位的改變，這種電位稱為「後突觸細(xì)胞膜電位(post-synapticpotential)」，其振幅與刺激強(qiáng)度成正比，並且會(huì)隨著傳遞距離的增加而衰減。後突觸細(xì)胞膜電位的產(chǎn)生，會(huì)依據(jù)神經(jīng)傳導(dǎo)物質(zhì)的種類不同而有不同的效果，也就是說(shuō)，可以分為兩種刺激:(1)激發(fā)型─細(xì)胞膜的電位往增加的方向改變，以及(2)抑制型─細(xì)胞膜的電位往更負(fù)的方向改變。

1.3.1生物電位與活化電位(3)大多數(shù)的哺乳類動(dòng)物的神經(jīng)421.3.1生物電位與活化電位

(4)所有位於樹突上，因刺激而引起的電位變化，都會(huì)朝向位於細(xì)胞本體上之軸突丘方向傳遞。此時(shí)，如圖1.6所示的「時(shí)間性相加(temporalsummation)」─

將所有在不同時(shí)間到達(dá)的刺激相加起來(lái)和「空間性相加(spatialsummation)」─

將刺激型和抑制型的刺激相加起來(lái)。若這些信號(hào)的綜合效果，導(dǎo)致軸突丘的細(xì)胞膜電位的增加，而且超過(guò)某一特定的閥值(如-55mv)時(shí)，則「活化電位」會(huì)被激發(fā)。

1.3.1生物電位與活化電位(4)所有位於樹突上，因刺激而431.3.1生物電位與活化電位

(5)圖1.6：發(fā)生於神經(jīng)元突觸之[時(shí)間性相加]示意圖

1.3.1生物電位與活化電位(5)圖1.6：發(fā)生於神經(jīng)元突441.3.1生物電位與活化電位

(6)在軸突丘的細(xì)胞膜上的鈉離子通道會(huì)被開啟，導(dǎo)致大量的鈉離子進(jìn)入細(xì)胞膜內(nèi)，進(jìn)而激發(fā)「活化電位」的產(chǎn)生，如圖1.7(a)所示。由於鈉離子的大量進(jìn)入，使得細(xì)胞膜電位呈現(xiàn)正值，這種現(xiàn)象被稱作去極化(depolarization)；一但電位呈現(xiàn)約20mv的正值時(shí)，鉀離子會(huì)離開細(xì)胞，導(dǎo)致細(xì)胞膜電位呈現(xiàn)比休止電位還要負(fù)的現(xiàn)象，這種現(xiàn)象被稱作過(guò)極化(hyperpolarization)。「活化電位」以一種振幅大小不變的方式，沿著軸突方向傳遞。刺激強(qiáng)度的資訊與活化電位的發(fā)生頻率有關(guān)，而與其振幅的大小無(wú)關(guān)，其傳遞的速度與(1)軸突的直徑大小以及(2)軸突上之細(xì)胞膜的電容及電阻性有關(guān)。1.3.1生物電位與活化電位(6)在軸突丘的細(xì)胞膜上的鈉離45類神經(jīng)網(wǎng)路之簡(jiǎn)介課件46圖1.7：(a)：活化電位示意圖

圖1.7：(a)：活化電位示意圖471.3.1生物電位與活化電位

(7)活化電位的產(chǎn)生及傳遞在在都需要時(shí)間，倘若信號(hào)的傳遞方式就只有此種形式，那麼大型動(dòng)物豈非會(huì)因?yàn)轶w型大而註定行動(dòng)遲緩？自然的演化導(dǎo)致所謂的「髓鞘環(huán)繞的軸突(myelinatedaxon)」的產(chǎn)生，在整條被許旺細(xì)胞包裹住的軸突上，會(huì)有一些稱為「郎威埃氏結(jié)」(Ravinernodes)的小間隙沒有被包裹住，因而活化電位可以在此產(chǎn)生，所以對(duì)於髓鞘環(huán)繞的軸突來(lái)說(shuō)，活化電位是以「跳躍式的傳導(dǎo)(salutatoryconduction)」的方式進(jìn)行，以加速傳遞的速度。

1.3.1生物電位與活化電位(7)活化電位的產(chǎn)生及傳遞在在48圖1.7：(b)：發(fā)生於髓鞘環(huán)繞的軸突的跳躍式傳遞。

圖1.7：(b)：發(fā)生於髓鞘環(huán)繞的軸突的跳躍式傳遞。491.3.1生物電位與活化電位

(8)我們可以用如圖1.8所示的電路來(lái)模擬位於軸突的細(xì)胞膜。其中Cm代表細(xì)胞膜的電容性，gk、gCl和gNa代表離子進(jìn)出入細(xì)胞膜的難易度，gk與gNa是用可變電阻來(lái)說(shuō)明細(xì)胞膜的特性，亦即對(duì)鉀與鈉離子來(lái)說(shuō)，進(jìn)出細(xì)胞膜的難易度是會(huì)改變的1.3.1生物電位與活化電位(8)我們可以用如圖1.850圖1.8：軸突的細(xì)胞膜電位之等效電路。圖1.8：軸突的細(xì)胞膜電位之等效電路。511.3.1生物電位與活化電位

(9)Vm

代表軸突的細(xì)胞膜電位差，而EK、ECl、和ENa

代表由Nernst方程式所推導(dǎo)出來(lái)的細(xì)胞膜電位[1]，所謂的Nernst方程式定義如下：其中，R是氣體常數(shù)，T為絕對(duì)溫度，z為價(jià)電子數(shù)，F(xiàn)是法拉第常數(shù)，Iono是細(xì)胞膜外的離子濃度，Ioni

是細(xì)胞膜內(nèi)的離子濃度。1.3.1生物電位與活化電位(9)Vm代表軸突的細(xì)胞膜電521.3.2 神經(jīng)元之連接模式(1)

發(fā)散(divergent)型：「?jìng)魅胄蜕窠?jīng)元」(afferentneurons)採(cǎi)取此種發(fā)散型模式，以便將所獲得之資訊，以平行之方式快速地傳達(dá)至大腦。

圖1.7：神經(jīng)元的連接模式：發(fā)散型。

1.3.2 神經(jīng)元之連接模式(1)發(fā)散(diverge531.3.2 神經(jīng)元之連接模式(2)收斂(convergent)型：大致上，所謂的「輸出型神經(jīng)元」(efferentneurons)與神經(jīng)末稍之間的連接方式是屬於此種模式。

圖1.8：神經(jīng)元的連接模式：收斂型。

1.3.2 神經(jīng)元之連接模式(2)收斂(converge541.3.2 神經(jīng)元之連接模式(3)鏈接及迴路(chainsandloops)型：大腦裏的神經(jīng)元為了處理傳送而來(lái)的複雜資訊，發(fā)展出這種複雜的連接模式，其中有正迴授與負(fù)迴授等情形發(fā)生。

圖1.9：神經(jīng)元的連接模式：鏈接及迴路型。

1.3.2 神經(jīng)元之連接模式(3)鏈接及迴路(chain55範(fàn)例1.1：神經(jīng)元的連接方式

(1)當(dāng)四個(gè)突觸同時(shí)被激發(fā)時(shí)，四個(gè)突觸所產(chǎn)生的電位總合並未超過(guò)激發(fā)此神經(jīng)元的閥值，因此神經(jīng)元不被激發(fā)，如圖1.10(b)所示；(2)當(dāng)四個(gè)突觸被激發(fā)的順序?yàn)椋篋，C，B，與A時(shí)，四個(gè)突觸所產(chǎn)生的電位總合超過(guò)激發(fā)此神經(jīng)元的閥值，因此神經(jīng)元處?kù)都ぐl(fā)狀態(tài)，如圖1.10(c)所示。

圖1.10：本圖摘自：M.Arbib,TheMetaphoricalBrain:NeuralNetworksandBeyond,JohnWiley&Sons,Inc.,1989.)

範(fàn)例1.1：神經(jīng)元的連接方式(1)當(dāng)四個(gè)突觸同時(shí)被激發(fā)時(shí)，561.4 類神經(jīng)元的模型(1)個(gè)別的神經(jīng)元透過(guò)是否激發(fā)出活化電位的機(jī)制，使其本身就具備處理部份資訊的能力

。

至於我們要如何向生物神經(jīng)網(wǎng)路借鏡呢？當(dāng)然，第一步是設(shè)法模仿單一神經(jīng)元的運(yùn)作模式

。

圖1.11：類神經(jīng)元之?dāng)?shù)學(xué)模型。

1.4 類神經(jīng)元的模型(1)個(gè)別的神經(jīng)元透過(guò)是否激發(fā)出活化571.4 類神經(jīng)元的模型(2)鍵結(jié)值(synapticweights)：突觸的效果實(shí)際上可分為兩種：(1)刺激性的突觸：此種突觸會(huì)使得被連接的神經(jīng)元容易被激化，因而導(dǎo)致活化電位的產(chǎn)生。(2)抑制性的突觸：此種突觸會(huì)使得被連接的神經(jīng)元的細(xì)胞膜電位值，變得更負(fù)(即遠(yuǎn)離閥值)，因而導(dǎo)致此神經(jīng)元不容易產(chǎn)生活化電位。

正值的鍵結(jié)值代表是刺激性的突觸，而抑制性的突觸則由負(fù)值的鍵結(jié)值所代表，另外，突觸影響性的大或小，則與鍵結(jié)值的絕對(duì)值成正比。1.4 類神經(jīng)元的模型(2)鍵結(jié)值(synapticw581.4 類神經(jīng)元的模型(3)加法單元：產(chǎn)生於樹突頂端的「層次電位」，會(huì)從四面八方朝向軸突丘傳遞，此時(shí)軸突丘會(huì)執(zhí)行「空間及時(shí)域」(spatio-temporal)的整合處理，這是個(gè)十分複雜的過(guò)程，在簡(jiǎn)單的類神經(jīng)元的模型中，我們通常以一個(gè)加法單元來(lái)簡(jiǎn)化此過(guò)程；而複雜一點(diǎn)的，可以用一個(gè)「有限脈衝響應(yīng)濾波器」(finiteimpulseresponsefilter)來(lái)近似此過(guò)程。

圖1.5:時(shí)空性相加1.4 類神經(jīng)元的模型(3)加法單元：產(chǎn)生於樹突頂端的「層591.4 類神經(jīng)元的模型(3)活化函數(shù)(activationfunction)：在軸突丘部位所呈現(xiàn)的整體細(xì)胞膜電位，若超過(guò)閥值，則「活化電位」脈衝會(huì)被激發(fā)，整個(gè)傳遞而來(lái)的資訊在這裏被調(diào)變(modulation)處理，軸突丘將資訊編碼於(1)活化電位的是否產(chǎn)生及(2)活化電位脈衝的產(chǎn)生頻率中。因此，我們將經(jīng)過(guò)權(quán)重相加的輸入，透過(guò)活化函數(shù)的轉(zhuǎn)換，使得類神經(jīng)元的輸出代表短期間之平均脈衝頻率。

1.4 類神經(jīng)元的模型(3)活化函數(shù)(activatio601.4 類神經(jīng)元的模型(4)我們可以用以下的數(shù)學(xué)式子來(lái)描述類神經(jīng)元的輸入輸出關(guān)係：

其中

代表第i維輸入至第j個(gè)類神經(jīng)元的鍵結(jié)值；

代表這個(gè)類神經(jīng)元的閥值；

代表p維的輸入；

代表第j個(gè)類神經(jīng)元所獲得的整體輸入量，

其物理意義是代表位於軸突丘的細(xì)胞膜電位；

代表活化函數(shù)；

則代表了類神經(jīng)元的輸出值，也就是脈衝頻率。

(1.3)(1.4)1.4 類神經(jīng)元的模型(4)我們可以用以下的數(shù)學(xué)式子來(lái)描述611.4 類神經(jīng)元的模型(5)如果我們用

代表

，則上述式子可改寫為：

(1.5)及 (1.6)

其中和。

1.4 類神經(jīng)元的模型(5)如果我們用代表621.4 類神經(jīng)元的模型(6)所用的活化函數(shù)型式，常見的有以下四種型式：

嚴(yán)格限制函數(shù)(hardlimiterorthresholdfunction)：

區(qū)域線性函數(shù)(piecewiselinearfunction)：

圖1.12：嚴(yán)格限制函數(shù)。

圖1.13：區(qū)域線性函數(shù)。

1.4 類神經(jīng)元的模型(6)所用的活化函數(shù)型式，常見的有以631.4 類神經(jīng)元的模型(7)s-字型函數(shù)(sigmoidfunction)：高斯函數(shù)(Gaussianfunction)：

圖1.14：s-字型函數(shù)。

圖1.15：高斯函數(shù)。

1.4 類神經(jīng)元的模型(7)s-字型函數(shù)(sigmoid641.5 網(wǎng)路架構(gòu)(1)單層前饋網(wǎng)路(single-layerfeedforwardnetworks)：如圖1.16所示，整個(gè)網(wǎng)路由一層具有處理資訊能力的類神經(jīng)元所組成，通常此種網(wǎng)路的功能性較差，只能處理線性的問(wèn)題。

圖1.16：?jiǎn)螌忧梆伨W(wǎng)路。

1.5 網(wǎng)路架構(gòu)(1)單層前饋網(wǎng)路(single-lay651.5 網(wǎng)路架構(gòu)(2)多層前饋網(wǎng)路(multi-layerfeedforwardnetworks)：根據(jù)鍵結(jié)的聯(lián)接方式，此種網(wǎng)路又可細(xì)分為(1)部份連結(jié)(partiallyconnected)網(wǎng)路，如圖1.17(a)或(2)完全連結(jié)(fullyconnected)網(wǎng)路，如圖1.17(b)，此種網(wǎng)路可處理複雜性高的問(wèn)題。

圖1.17：多層前饋網(wǎng)路：(a)部份連結(jié)；(b)完全連結(jié)。

1.5 網(wǎng)路架構(gòu)(2)多層前饋網(wǎng)路(multi-laye661.5 網(wǎng)路架構(gòu)(3)循環(huán)式網(wǎng)路(recurrentnetworks)：此網(wǎng)路的輸出會(huì)透過(guò)另一組鍵結(jié)值，聯(lián)結(jié)於網(wǎng)路的某處(如輸入層或隱藏層)而迴授至網(wǎng)路本身。

圖1.18：循環(huán)式網(wǎng)路。

1.5 網(wǎng)路架構(gòu)(3)循環(huán)式網(wǎng)路(recurrentn671.5 網(wǎng)路架構(gòu)(4)晶格狀網(wǎng)路(latticenetworks)：基本上，此種網(wǎng)路屬於前饋型網(wǎng)路，只不過(guò)其輸出層的類神經(jīng)元是以矩陣方式所排列。

圖1.19：二維的33之晶格狀網(wǎng)路。

1.5 網(wǎng)路架構(gòu)(4)晶格狀網(wǎng)路(latticenet681.6 學(xué)習(xí)與記憶(1)「學(xué)習(xí)」(learning)

是自然生物或人造系統(tǒng)之所以有智慧的一個(gè)極為重要的特徵。學(xué)習(xí)與記憶是密不可分的，因?yàn)橛袑W(xué)習(xí)行為的發(fā)生才導(dǎo)致記憶的形成；能夠記憶才產(chǎn)生學(xué)習(xí)的效果。人類的記憶有以下的一些特點(diǎn)：人類的記憶屬於分散式(distributed)的儲(chǔ)存，並且是屬於聯(lián)想式的記憶(associatememory)。人類易於記憶，但卻難於回想(recall)

。

人類的記憶，根據(jù)儲(chǔ)存的期間長(zhǎng)短又分為三種：

(1)立即計(jì)憶(immediatememory)；(2)短程記憶(short-termmemory)；(3)長(zhǎng)程記憶(long-termmemory)。

1.6 學(xué)習(xí)與記憶(1)「學(xué)習(xí)」(learning)是自691.6 學(xué)習(xí)與記憶(2)短程記憶:

負(fù)責(zé)的就是將當(dāng)時(shí)的外界狀態(tài)，經(jīng)過(guò)某種處理後暫存起來(lái)，隨著時(shí)間的增長(zhǎng)而逐漸消逝。根據(jù)生物神經(jīng)學(xué)的理論，短程記憶是動(dòng)態(tài)的(dynamic)，而且不斷地在彼此聯(lián)結(jié)的神經(jīng)元間以反覆地產(chǎn)生脈衝的型式表現(xiàn)。

長(zhǎng)程記憶:這種記憶是屬於靜態(tài)的(static)，並且是以神經(jīng)細(xì)胞間的聯(lián)結(jié)強(qiáng)度、聯(lián)結(jié)方式、及每個(gè)神經(jīng)細(xì)胞本身閥值大小不同的方式來(lái)儲(chǔ)存記憶。

1.6 學(xué)習(xí)與記憶(2)短程記憶:負(fù)責(zé)的就是將當(dāng)時(shí)的外界701.6 學(xué)習(xí)與記憶(3)根據(jù)神經(jīng)解剖學(xué)家的研究，發(fā)現(xiàn)剛出生的老鼠，平均每個(gè)神經(jīng)元有大量的突觸與其它神經(jīng)元有所聯(lián)結(jié)，而年老的老鼠卻擁有較少的突觸，因?yàn)閷W(xué)習(xí)過(guò)程會(huì)逐漸確定神經(jīng)元間的聯(lián)結(jié)方式。

基本上，短程記憶與長(zhǎng)程記憶不是彼此毫無(wú)干涉地平行運(yùn)作，而是互相交替地連續(xù)運(yùn)作。所有的記憶都是以短程記憶開始，然後透過(guò)記憶力的集中和複誦才能形成長(zhǎng)程記憶。當(dāng)我們正記起某件事情時(shí)，腦中應(yīng)該有一些與此記憶相關(guān)的神經(jīng)元正在活化。許多臨床實(shí)驗(yàn)發(fā)現(xiàn)內(nèi)視丘(medialthalamus)負(fù)責(zé)記憶類型的最初統(tǒng)合，專司將感覺的輸入訊息傳達(dá)至皮質(zhì)。。

1.6 學(xué)習(xí)與記憶(3)根據(jù)神經(jīng)解剖學(xué)家的研究，發(fā)現(xiàn)剛出生711.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(1)學(xué)習(xí)的策略(strategies)可分為以下幾種：機(jī)械式的背誦學(xué)習(xí)(rotelearning)。指令式的學(xué)習(xí)(learningbyinstruction)。類推式的學(xué)習(xí)(learningbyanalogy)。歸納式的學(xué)習(xí)(learningbyinduction)：此種學(xué)習(xí)又可分為以下三種方式：(1)從範(fàn)例中學(xué)習(xí)(learningfromexamples)：又稱為監(jiān)督式(supervise)學(xué)習(xí)。學(xué)習(xí)者從一組含有正例(positiveexamples)與反例(negativeexamples)的學(xué)習(xí)範(fàn)例中，歸納出一個(gè)能夠解釋範(fàn)例的整體概念(concept)。

1.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(1)學(xué)習(xí)的策略(strat721.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(2)(2)從觀察及發(fā)現(xiàn)中學(xué)習(xí)(learningfromobservationanddiscovery)：又稱為非監(jiān)督式(unsupervised)學(xué)習(xí)

。缺乏所謂的「加標(biāo)過(guò)的資料」，這種學(xué)習(xí)法需要學(xué)習(xí)者自行去發(fā)掘出資料本身的重要特徵或結(jié)構(gòu)。(3)增強(qiáng)式學(xué)習(xí)(reinforcementlearning)：比非監(jiān)督式學(xué)習(xí)法又多了一點(diǎn)資訊。學(xué)習(xí)者在學(xué)習(xí)的過(guò)程中會(huì)和環(huán)境

有一連串的互動(dòng)，自行採(cǎi)掘適當(dāng)?shù)拇胧﹣?lái)因應(yīng)刺激，接著會(huì)有所謂的「評(píng)論家(critic)」來(lái)評(píng)斷剛才學(xué)習(xí)者自行因應(yīng)的措施是否恰當(dāng)？此評(píng)論就是所謂的增強(qiáng)式信號(hào)(reinforcementsignal)。大體說(shuō)來(lái)，增強(qiáng)式學(xué)習(xí)法在學(xué)習(xí)的過(guò)程中會(huì)借助評(píng)論家所提供的增強(qiáng)式信號(hào)，來(lái)調(diào)整學(xué)習(xí)者因應(yīng)刺激的措施，以便效能指標(biāo)(indexofperformance)達(dá)到極大化。

1.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(2)(2)從觀察及發(fā)現(xiàn)中學(xué)731.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(3)我們以數(shù)學(xué)式來(lái)描述通用型的學(xué)習(xí)規(guī)則

其中

及分別代表原先的及調(diào)整後的鍵結(jié)值；

代表此類神經(jīng)元受到刺激後，為了達(dá)成學(xué)習(xí)效果，所必須採(cǎi)取的改變量。此改變量

，通常是(1)當(dāng)時(shí)的輸入

、(2)原先的鍵結(jié)值

、及(3)期望的輸出值(desiredoutput)di(若屬於非監(jiān)督式學(xué)習(xí)，則無(wú)此項(xiàng))的某種函數(shù)關(guān)係

。1.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(3)我們以數(shù)學(xué)式來(lái)描述通用型741.7.1 Hebbian學(xué)習(xí)規(guī)則

神經(jīng)心理學(xué)家(neuropsychologist)Hebb在他的一本書中寫著[7]

當(dāng)神經(jīng)元A的軸突與神經(jīng)元B之距離，近到足以激發(fā)它的地步時(shí)，若神經(jīng)元A重複地或持續(xù)地扮演激發(fā)神經(jīng)元B的角色，則某種增長(zhǎng)現(xiàn)象或新陳代謝的改變，會(huì)發(fā)生在其中之一或兩個(gè)神經(jīng)元的細(xì)胞上，以至於神經(jīng)元A能否激發(fā)神經(jīng)元B的有效性會(huì)被提高。因此我們得到以下的學(xué)習(xí)規(guī)則：

這種Hebbian學(xué)習(xí)規(guī)則屬於前饋(feedforward)式的非監(jiān)督學(xué)習(xí)規(guī)則。以下是最常使用的型式：

(1.14)(1.15)1.7.1 Hebbian學(xué)習(xí)規(guī)則神經(jīng)心理學(xué)家(neur751.7.2 錯(cuò)誤更正法則(1)

錯(cuò)誤更正法則的基本概念是，若類神經(jīng)元的真實(shí)輸出值

與期望的目標(biāo)值

不同時(shí)，則兩者之差，定義為誤差信號(hào)

：

我們可以選擇一特定的「代價(jià)函數(shù)」(costfunction)來(lái)反應(yīng)出誤差信號(hào)的物理量；

錯(cuò)誤更正法則的終極目標(biāo)，就是調(diào)整鍵結(jié)值使得代價(jià)函數(shù)值越來(lái)越小，亦即使類神經(jīng)元的真實(shí)輸出值，越接近目標(biāo)值越好，一般都採(cǎi)用梯度坡降法(gradientdecentmethod)來(lái)搜尋一組鍵結(jié)值，使得代價(jià)函數(shù)達(dá)到最小。

1.7.2 錯(cuò)誤更正法則(1)錯(cuò)誤更正法則的基本概念是，761.7.2 錯(cuò)誤更正法則(2)一、Windrow-Hoff學(xué)習(xí)法

代價(jià)函數(shù)定義為：因此根據(jù)梯度坡降法可得：

此學(xué)習(xí)規(guī)則，有時(shí)候亦被稱為最小均方演算法(leastsquareerroralgorithm)。

(1.18)(1.19)1.7.2 錯(cuò)誤更正法則(2)一、Windrow-Hoff771.7.2 錯(cuò)誤更正法則(3)二、Delta學(xué)習(xí)法

使用此種學(xué)習(xí)法的類神經(jīng)網(wǎng)路，其活化函數(shù)都是採(cǎi)用連續(xù)且可微分的函數(shù)型式，而代價(jià)函數(shù)則定義為：

因此根據(jù)梯度坡降法可得：

實(shí)際上，若

時(shí)，則Widrow-Hoff學(xué)習(xí)可視為Delta學(xué)習(xí)法的一項(xiàng)特例。

(1.20)(1.21)1.7.2 錯(cuò)誤更正法則(3)二、Delta學(xué)習(xí)法(1781.7.3 競(jìng)爭(zhēng)式學(xué)習(xí)法

競(jìng)爭(zhēng)式學(xué)習(xí)法有時(shí)又稱為「贏者全拿」(winner-take-all)學(xué)習(xí)法。步驟一：得勝者之篩選

假設(shè)在此網(wǎng)路中有

K

個(gè)類神經(jīng)元，如果

那麼第

k

個(gè)類神經(jīng)元為得勝者。

步驟二：鍵結(jié)值之調(diào)整

(1.22)(1.23)1.7.3 競(jìng)爭(zhēng)式學(xué)習(xí)法競(jìng)爭(zhēng)式學(xué)習(xí)法有時(shí)又稱為「贏者全拿」791.8 結(jié)語(yǔ)

首先簡(jiǎn)單地介紹了生物神經(jīng)網(wǎng)路，接下來(lái)引進(jìn)了模仿生物神經(jīng)元運(yùn)作模式的類神經(jīng)元模型，以及依據(jù)此類神經(jīng)元模型所建立之網(wǎng)路架構(gòu)。

了解生物神經(jīng)元如何處理資訊之後，在我們心理會(huì)不會(huì)有以下這些問(wèn)題：

(1)我們有所謂的自由意志嗎？還是只由一堆神經(jīng)元所構(gòu)成的狀態(tài)機(jī)(statemachine)而已？ (2)意志扮演何種角色以及如何去激發(fā)神經(jīng)元呢？。

1.8 結(jié)語(yǔ)首先簡(jiǎn)單地介紹了生物神經(jīng)網(wǎng)路，接下來(lái)引進(jìn)了模仿80第一章

類神經(jīng)網(wǎng)路之簡(jiǎn)介第一章類神經(jīng)網(wǎng)路之簡(jiǎn)介811.1簡(jiǎn)介電腦的有效性仍然令我們失望，譬如說(shuō)在影像辨識(shí)、語(yǔ)音辯認(rèn)、以及決策處理等方面的問(wèn)題上。

在於數(shù)位電腦基本架構(gòu)的限制，因其本質(zhì)上就只能根據(jù)使用者撰寫的電腦程式來(lái)執(zhí)行運(yùn)算。

期望能夠設(shè)計(jì)出一部能像人類大腦一樣，能夠?qū)W習(xí)及具有智慧的機(jī)器，如此一來(lái)，許多複雜難解、或有生命危險(xiǎn)等高難度的工作，便可以交由此等智慧型的機(jī)器來(lái)完成。1.1簡(jiǎn)介電腦的有效性仍然令我們失望，譬如說(shuō)在影像辨識(shí)、語(yǔ)821.2 生物神經(jīng)網(wǎng)路(1)如何藉助生物神經(jīng)系統(tǒng)處理資訊的模式及架構(gòu)，來(lái)設(shè)計(jì)出有智慧的機(jī)器是一大挑戰(zhàn)。

圖1.1：

人類神經(jīng)系統(tǒng)示意圖。

1.2 生物神經(jīng)網(wǎng)路(1)如何藉助生物神經(jīng)系統(tǒng)處理資訊的模831.2 生物神經(jīng)網(wǎng)路(2)人類對(duì)大腦的正確認(rèn)知，是藉由逐漸地修正錯(cuò)誤知識(shí)而形成的。18世紀(jì)初，弗盧杭從移除各種動(dòng)物的大腦的不同區(qū)域的實(shí)驗(yàn)中，觀察有哪些功能仍能遺留下來(lái)？最後他認(rèn)定腦部各區(qū)不可能具有不同的功能。但有些人卻認(rèn)為腦部可區(qū)分成明確的區(qū)域，此派學(xué)說(shuō)以高爾醫(yī)生最為著名。發(fā)展成『腦相術(shù)』。

1.2 生物神經(jīng)網(wǎng)路(2)人類對(duì)大腦的正確認(rèn)知，是藉由逐漸84腦部相關(guān)資訊(1)18世紀(jì)初，弗盧杭從移除腦的不同區(qū)域?qū)嶒?yàn)中，得知腦部是整體而不具有特定區(qū)域功能。尺寸的不同：腦部越大，越聰明？大象是人的五倍。腦部與體重之比例：比例越大，越聰明？大象是0.2%，人是2.33%，地鼠是3.33%。大腦皮質(zhì)皺摺複雜度及面積：越大，越聰明？地鼠是郵票大小、黑猩猩是A4大小、人是4xA4大小(厚)、海豚比人還大(薄)。腦部相關(guān)資訊(1)18世紀(jì)初，弗盧杭從移除腦的不同區(qū)域?qū)嶒?yàn)85腦部相關(guān)資訊(2)經(jīng)過(guò)數(shù)百年演化，大腦逐漸由下層組織發(fā)展出高階之上層組織，如圖1.1所示。人類胚胎的大腦大抵遵循此發(fā)展。腦部相關(guān)資訊(2)經(jīng)過(guò)數(shù)百年演化，大腦逐漸由下層組織發(fā)展出86類神經(jīng)網(wǎng)路之簡(jiǎn)介課件87腦部相關(guān)資訊(3)人類的大腦具有

(1)腦幹(brainstem)：又稱爬蟲類大腦

。負(fù)責(zé)呼吸等基本生命功，並控制生存所必須之反應(yīng)及運(yùn)動(dòng)。純粹機(jī)械性、無(wú)意識(shí)的過(guò)程；

(2)邊緣系統(tǒng)(limbicsystem)：又稱哺乳類大腦。情緒中樞，進(jìn)化過(guò)程中又逐漸多了學(xué)習(xí)及記憶功能；

(3)大腦新皮層(neocortex)

：大腦的最外層的皺摺組織，思考重鎮(zhèn)，有了它才使得人與其他生物之差別[2]。腦部相關(guān)資訊(3)人類的大腦具有88腦部相關(guān)資訊(4)(a)人類大腦組織示意圖(本圖摘自[9])

腦部相關(guān)資訊(4)(a)人類大腦組織示意圖(本圖摘自[9]89類神經(jīng)網(wǎng)路之簡(jiǎn)介課件90類神經(jīng)網(wǎng)路之簡(jiǎn)介課件91腦部相關(guān)資訊(5)腦電波(EEG，Electroencephalography)、核磁共振(MRI，MagneticResonanceImaging)、功能性核磁共振(fMRI)、正子斷層掃描(PET，PositionEmissionTopography)、近紅外光光譜儀(NIRS，Near-infra-redSpectroscopy)、以及腦磁波(MEG，Magnetoencephalography)等。近數(shù)十年來(lái)，認(rèn)知科學(xué)的興起，讓人類對(duì)大腦的全盤認(rèn)識(shí)，越來(lái)越有指日可待的期盼。

腦部相關(guān)資訊(5)腦電波(EEG，Electroencep92摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯93摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯94類神經(jīng)網(wǎng)路之簡(jiǎn)介課件95類神經(jīng)網(wǎng)路之簡(jiǎn)介課件96類神經(jīng)網(wǎng)路之簡(jiǎn)介課件97類神經(jīng)網(wǎng)路之簡(jiǎn)介課件98類神經(jīng)網(wǎng)路之簡(jiǎn)介課件99生物類別(1)達(dá)爾文生物生物類別(1)達(dá)爾文生物100生物類別(2)史金納生物生物類別(2)史金納生物101生物類別(3)巴柏生物生物類別(3)巴柏生物102生物類別(4)格雷利高生物生物類別(4)格雷利高生物103能力來(lái)源遺傳及後天環(huán)境刺激能力來(lái)源遺傳及後天環(huán)境刺激104摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯105摘自：大腦的秘密檔案洪蘭譯摘自：大腦的秘密檔案洪蘭譯106類神經(jīng)網(wǎng)路之簡(jiǎn)介課件107如何看待刺激？如何看待刺激？108類神經(jīng)網(wǎng)路之簡(jiǎn)介課件109類神經(jīng)網(wǎng)路之簡(jiǎn)介課件110Illusion(1)Illusion(1)111Illusion(2)Illusion(2)1121.2 生物神經(jīng)網(wǎng)路(3)基本上，有兩種不同的途逕來(lái)嘗試研究大腦的功能。第一種屬於由下而上的方式，通常生物神經(jīng)學(xué)家(neurobiologists)採(cǎi)用此種方式，藉由對(duì)單一神經(jīng)細(xì)胞的刺激與反應(yīng)(stimulus-response)特徵的瞭解，進(jìn)而對(duì)由神經(jīng)細(xì)胞聯(lián)結(jié)而成的網(wǎng)路能有所認(rèn)識(shí)；而心理學(xué)家(psychologists)採(cǎi)取的是由上而下的途逕，他們從知覺(cognition)與行為反應(yīng)來(lái)瞭解大腦。

目前我們對(duì)大腦運(yùn)作模式的瞭解仍然十分有限。

人類的神經(jīng)系統(tǒng)可視為三個(gè)子系統(tǒng)所互相協(xié)調(diào)而成的複合系統(tǒng)，如圖1.1所示。

1.2 生物神經(jīng)網(wǎng)路(3)基本上，有兩種不同的途逕來(lái)嘗試研113圖1.1：

人類神經(jīng)系統(tǒng)示意圖。圖1.1：人類神經(jīng)系統(tǒng)示意圖。1141.3 生物神經(jīng)細(xì)胞(1)1872年發(fā)生了神經(jīng)科學(xué)史上的重大突破，義大利的年輕醫(yī)學(xué)院畢業(yè)生高基用肉眼看到腦部的最基本的構(gòu)成單元─神經(jīng)細(xì)胞的重大發(fā)現(xiàn)[1]。

人類的大腦是由大約1011

個(gè)神經(jīng)細(xì)胞(nervecells)所構(gòu)成，每個(gè)神經(jīng)細(xì)胞又經(jīng)由約104

個(gè)突觸(synapses)與其它神經(jīng)細(xì)胞互相聯(lián)結(jié)成一個(gè)複雜，但具有平行處理能力的資訊處理系統(tǒng)。

一個(gè)典型的神經(jīng)元可分為

(1)細(xì)胞本體(soma)、(2)軸突(axon)、以及(3)樹突(dendrites)

等三部份。

圖1.2：生物神經(jīng)細(xì)胞示意圖。

1.3 生物神經(jīng)細(xì)胞(1)1872年發(fā)生了神經(jīng)科學(xué)史上的重115類神經(jīng)網(wǎng)路之簡(jiǎn)介課件116類神經(jīng)網(wǎng)路之簡(jiǎn)介課件1171.3 生物神經(jīng)細(xì)胞(2)樹突的主要功能就是接受其它神經(jīng)元所傳遞而來(lái)的信號(hào)。若導(dǎo)致位於軸突丘

的細(xì)胞膜電位

超過(guò)某一特定閥值(threshold)時(shí)，則所謂的「活化電位」(actionpotential)的脈衝就會(huì)被激發(fā)出來(lái)。藉由管狀似的軸突傳遞至其它相連接的神經(jīng)元。軸突的終點(diǎn)處是「突觸」，這種細(xì)胞間的信號(hào)傳遞以化學(xué)性的方式居多。

圖1.3：神經(jīng)信號(hào)之傳遞。

1.3 生物神經(jīng)細(xì)胞(2)樹突的主要功能就是接受其它神經(jīng)元118類神經(jīng)網(wǎng)路之簡(jiǎn)介課件1191.3.1生物電位與活化電位

(1)細(xì)胞內(nèi)外充滿了含有陰離子(如：氯離子，Cl-)及陽(yáng)離子(如：鈉離子、鉀離子、鈣離子，Na+,K+,及Ca+2

等)的電解液。細(xì)胞的外圍是一層半滲透性的組織，此組織稱為細(xì)胞膜。這些離子在

(1)滲透壓和

(2)電場(chǎng)效應(yīng)的影響下，最後會(huì)達(dá)到一種平衡狀態(tài)，使得鉀離子大部份位在細(xì)胞體內(nèi)，而鈉離子大部份位在細(xì)胞體外，這時(shí)細(xì)胞便呈現(xiàn)約-85mv的「休止電位」(restingpotential)。圖1.4：理想化之細(xì)胞模型。

1.3.1生物電位與活化電位(1)細(xì)胞內(nèi)外充滿了含有陰離1201.3.1生物電位與活化電位

(2)我們可以用Goldman(或GHK)式子來(lái)計(jì)算細(xì)胞膜電位[1]：其中PNa、PK和PCl代表鈉、鉀、和氯離子穿透細(xì)胞膜的係數(shù)，下標(biāo)i和o分別代表細(xì)胞內(nèi)與外，K、Na、和Cl代表離子濃度。1.3.1生物電位與活化電位(2)我們可以用Goldma1211.3.1生物電位與活化電位

(3)大多數(shù)的哺乳類動(dòng)物的神經(jīng)細(xì)胞，其休止電位差大約都接近-70mv

。當(dāng)神經(jīng)細(xì)胞被刺激時(shí)，在樹突部位的細(xì)胞膜的特性會(huì)被改變，使得鈉離子可以進(jìn)入細(xì)胞內(nèi)，導(dǎo)致細(xì)胞膜電位的改變，這種電位稱為「後突觸細(xì)胞膜電位(post-synapticpotential)」，其振幅與刺激強(qiáng)度成正比，並且會(huì)隨著傳遞距離的增加而衰減。後突觸細(xì)胞膜電位的產(chǎn)生，會(huì)依據(jù)神經(jīng)傳導(dǎo)物質(zhì)的種類不同而有不同的效果，也就是說(shuō)，可以分為兩種刺激:(1)激發(fā)型─細(xì)胞膜的電位往增加的方向改變，以及(2)抑制型─細(xì)胞膜的電位往更負(fù)的方向改變。

1.3.1生物電位與活化電位(3)大多數(shù)的哺乳類動(dòng)物的神經(jīng)1221.3.1生物電位與活化電位

(4)所有位於樹突上，因刺激而引起的電位變化，都會(huì)朝向位於細(xì)胞本體上之軸突丘方向傳遞。此時(shí)，如圖1.6所示的「時(shí)間性相加(temporalsummation)」─

將所有在不同時(shí)間到達(dá)的刺激相加起來(lái)和「空間性相加(spatialsummation)」─

將刺激型和抑制型的刺激相加起來(lái)。若這些信號(hào)的綜合效果，導(dǎo)致軸突丘的細(xì)胞膜電位的增加，而且超過(guò)某一特定的閥值(如-55mv)時(shí)，則「活化電位」會(huì)被激發(fā)。

1.3.1生物電位與活化電位(4)所有位於樹突上，因刺激而1231.3.1生物電位與活化電位

(5)圖1.6：發(fā)生於神經(jīng)元突觸之[時(shí)間性相加]示意圖

1.3.1生物電位與活化電位(5)圖1.6：發(fā)生於神經(jīng)元突1241.3.1生物電位與活化電位

(6)在軸突丘的細(xì)胞膜上的鈉離子通道會(huì)被開啟，導(dǎo)致大量的鈉離子進(jìn)入細(xì)胞膜內(nèi)，進(jìn)而激發(fā)「活化電位」的產(chǎn)生，如圖1.7(a)所示。由於鈉離子的大量進(jìn)入，使得細(xì)胞膜電位呈現(xiàn)正值，這種現(xiàn)象被稱作去極化(depolarization)；一但電位呈現(xiàn)約20mv的正值時(shí)，鉀離子會(huì)離開細(xì)胞，導(dǎo)致細(xì)胞膜電位呈現(xiàn)比休止電位還要負(fù)的現(xiàn)象，這種現(xiàn)象被稱作過(guò)極化(hyperpolarization)?！富罨娢弧挂砸环N振幅大小不變的方式，沿著軸突方向傳遞。刺激強(qiáng)度的資訊與活化電位的發(fā)生頻率有關(guān)，而與其振幅的大小無(wú)關(guān)，其傳遞的速度與(1)軸突的直徑大小以及(2)軸突上之細(xì)胞膜的電容及電阻性有關(guān)。1.3.1生物電位與活化電位(6)在軸突丘的細(xì)胞膜上的鈉離125類神經(jīng)網(wǎng)路之簡(jiǎn)介課件126圖1.7：(a)：活化電位示意圖

圖1.7：(a)：活化電位示意圖1271.3.1生物電位與活化電位

(7)活化電位的產(chǎn)生及傳遞在在都需要時(shí)間，倘若信號(hào)的傳遞方式就只有此種形式，那麼大型動(dòng)物豈非會(huì)因?yàn)轶w型大而註定行動(dòng)遲緩？自然的演化導(dǎo)致所謂的「髓鞘環(huán)繞的軸突(myelinatedaxon)」的產(chǎn)生，在整條被許旺細(xì)胞包裹住的軸突上，會(huì)有一些稱為「郎威埃氏結(jié)」(Ravinernodes)的小間隙沒有被包裹住，因而活化電位可以在此產(chǎn)生，所以對(duì)於髓鞘環(huán)繞的軸突來(lái)說(shuō)，活化電位是以「跳躍式的傳導(dǎo)(salutatoryconduction)」的方式進(jìn)行，以加速傳遞的速度。

1.3.1生物電位與活化電位(7)活化電位的產(chǎn)生及傳遞在在128圖1.7：(b)：發(fā)生於髓鞘環(huán)繞的軸突的跳躍式傳遞。

圖1.7：(b)：發(fā)生於髓鞘環(huán)繞的軸突的跳躍式傳遞。1291.3.1生物電位與活化電位

(8)我們可以用如圖1.8所示的電路來(lái)模擬位於軸突的細(xì)胞膜。其中Cm代表細(xì)胞膜的電容性，gk、gCl和gNa代表離子進(jìn)出入細(xì)胞膜的難易度，gk與gNa是用可變電阻來(lái)說(shuō)明細(xì)胞膜的特性，亦即對(duì)鉀與鈉離子來(lái)說(shuō)，進(jìn)出細(xì)胞膜的難易度是會(huì)改變的1.3.1生物電位與活化電位(8)我們可以用如圖1.8130圖1.8：軸突的細(xì)胞膜電位之等效電路。圖1.8：軸突的細(xì)胞膜電位之等效電路。1311.3.1生物電位與活化電位

(9)Vm

代表軸突的細(xì)胞膜電位差，而EK、ECl、和ENa

代表由Nernst方程式所推導(dǎo)出來(lái)的細(xì)胞膜電位[1]，所謂的Nernst方程式定義如下：其中，R是氣體常數(shù)，T為絕對(duì)溫度，z為價(jià)電子數(shù)，F(xiàn)是法拉第常數(shù)，Iono是細(xì)胞膜外的離子濃度，Ioni

是細(xì)胞膜內(nèi)的離子濃度。1.3.1生物電位與活化電位(9)Vm代表軸突的細(xì)胞膜電1321.3.2 神經(jīng)元之連接模式(1)

發(fā)散(divergent)型：「?jìng)魅胄蜕窠?jīng)元」(afferentneurons)採(cǎi)取此種發(fā)散型模式，以便將所獲得之資訊，以平行之方式快速地傳達(dá)至大腦。

圖1.7：神經(jīng)元的連接模式：發(fā)散型。

1.3.2 神經(jīng)元之連接模式(1)發(fā)散(diverge1331.3.2 神經(jīng)元之連接模式(2)收斂(convergent)型：大致上，所謂的「輸出型神經(jīng)元」(efferentneurons)與神經(jīng)末稍之間的連接方式是屬於此種模式。

圖1.8：神經(jīng)元的連接模式：收斂型。

1.3.2 神經(jīng)元之連接模式(2)收斂(converge1341.3.2 神經(jīng)元之連接模式(3)鏈接及迴路(chainsandloops)型：大腦裏的神經(jīng)元為了處理傳送而來(lái)的複雜資訊，發(fā)展出這種複雜的連接模式，其中有正迴授與負(fù)迴授等情形發(fā)生。

圖1.9：神經(jīng)元的連接模式：鏈接及迴路型。

1.3.2 神經(jīng)元之連接模式(3)鏈接及迴路(chain135範(fàn)例1.1：神經(jīng)元的連接方式

(1)當(dāng)四個(gè)突觸同時(shí)被激發(fā)時(shí)，四個(gè)突觸所產(chǎn)生的電位總合並未超過(guò)激發(fā)此神經(jīng)元的閥值，因此神經(jīng)元不被激發(fā)，如圖1.10(b)所示；(2)當(dāng)四個(gè)突觸被激發(fā)的順序?yàn)椋篋，C，B，與A時(shí)，四個(gè)突觸所產(chǎn)生的電位總合超過(guò)激發(fā)此神經(jīng)元的閥值，因此神經(jīng)元處?kù)都ぐl(fā)狀態(tài)，如圖1.10(c)所示。

圖1.10：本圖摘自：M.Arbib,TheMetaphoricalBrain:NeuralNetworksandBeyond,JohnWiley&Sons,Inc.,1989.)

範(fàn)例1.1：神經(jīng)元的連接方式(1)當(dāng)四個(gè)突觸同時(shí)被激發(fā)時(shí)，1361.4 類神經(jīng)元的模型(1)個(gè)別的神經(jīng)元透過(guò)是否激發(fā)出活化電位的機(jī)制，使其本身就具備處理部份資訊的能力

。

至於我們要如何向生物神經(jīng)網(wǎng)路借鏡呢？當(dāng)然，第一步是設(shè)法模仿單一神經(jīng)元的運(yùn)作模式

。

圖1.11：類神經(jīng)元之?dāng)?shù)學(xué)模型。

1.4 類神經(jīng)元的模型(1)個(gè)別的神經(jīng)元透過(guò)是否激發(fā)出活化1371.4 類神經(jīng)元的模型(2)鍵結(jié)值(synapticweights)：突觸的效果實(shí)際上可分為兩種：(1)刺激性的突觸：此種突觸會(huì)使得被連接的神經(jīng)元容易被激化，因而導(dǎo)致活化電位的產(chǎn)生。(2)抑制性的突觸：此種突觸會(huì)使得被連接的神經(jīng)元的細(xì)胞膜電位值，變得更負(fù)(即遠(yuǎn)離閥值)，因而導(dǎo)致此神經(jīng)元不容易產(chǎn)生活化電位。

正值的鍵結(jié)值代表是刺激性的突觸，而抑制性的突觸則由負(fù)值的鍵結(jié)值所代表，另外，突觸影響性的大或小，則與鍵結(jié)值的絕對(duì)值成正比。1.4 類神經(jīng)元的模型(2)鍵結(jié)值(synapticw1381.4 類神經(jīng)元的模型(3)加法單元：產(chǎn)生於樹突頂端的「層次電位」，會(huì)從四面八方朝向軸突丘傳遞，此時(shí)軸突丘會(huì)執(zhí)行「空間及時(shí)域」(spatio-temporal)的整合處理，這是個(gè)十分複雜的過(guò)程，在簡(jiǎn)單的類神經(jīng)元的模型中，我們通常以一個(gè)加法單元來(lái)簡(jiǎn)化此過(guò)程；而複雜一點(diǎn)的，可以用一個(gè)「有限脈衝響應(yīng)濾波器」(finiteimpulseresponsefilter)來(lái)近似此過(guò)程。

圖1.5:時(shí)空性相加1.4 類神經(jīng)元的模型(3)加法單元：產(chǎn)生於樹突頂端的「層1391.4 類神經(jīng)元的模型(3)活化函數(shù)(activationfunction)：在軸突丘部位所呈現(xiàn)的整體細(xì)胞膜電位，若超過(guò)閥值，則「活化電位」脈衝會(huì)被激發(fā)，整個(gè)傳遞而來(lái)的資訊在這裏被調(diào)變(modulation)處理，軸突丘將資訊編碼於(1)活化電位的是否產(chǎn)生及(2)活化電位脈衝的產(chǎn)生頻率中。因此，我們將經(jīng)過(guò)權(quán)重相加的輸入，透過(guò)活化函數(shù)的轉(zhuǎn)換，使得類神經(jīng)元的輸出代表短期間之平均脈衝頻率。

1.4 類神經(jīng)元的模型(3)活化函數(shù)(activatio1401.4 類神經(jīng)元的模型(4)我們可以用以下的數(shù)學(xué)式子來(lái)描述類神經(jīng)元的輸入輸出關(guān)係：

其中

代表第i維輸入至第j個(gè)類神經(jīng)元的鍵結(jié)值；

代表這個(gè)類神經(jīng)元的閥值；

代表p維的輸入；

代表第j個(gè)類神經(jīng)元所獲得的整體輸入量，

其物理意義是代表位於軸突丘的細(xì)胞膜電位；

代表活化函數(shù)；

則代表了類神經(jīng)元的輸出值，也就是脈衝頻率。

(1.3)(1.4)1.4 類神經(jīng)元的模型(4)我們可以用以下的數(shù)學(xué)式子來(lái)描述1411.4 類神經(jīng)元的模型(5)如果我們用

代表

，則上述式子可改寫為：

(1.5)及 (1.6)

其中和。

1.4 類神經(jīng)元的模型(5)如果我們用代表1421.4 類神經(jīng)元的模型(6)所用的活化函數(shù)型式，常見的有以下四種型式：

嚴(yán)格限制函數(shù)(hardlimiterorthresholdfunction)：

區(qū)域線性函數(shù)(piecewiselinearfunction)：

圖1.12：嚴(yán)格限制函數(shù)。

圖1.13：區(qū)域線性函數(shù)。

1.4 類神經(jīng)元的模型(6)所用的活化函數(shù)型式，常見的有以1431.4 類神經(jīng)元的模型(7)s-字型函數(shù)(sigmoidfunction)：高斯函數(shù)(Gaussianfunction)：

圖1.14：s-字型函數(shù)。

圖1.15：高斯函數(shù)。

1.4 類神經(jīng)元的模型(7)s-字型函數(shù)(sigmoid1441.5 網(wǎng)路架構(gòu)(1)單層前饋網(wǎng)路(single-layerfeedforwardnetworks)：如圖1.16所示，整個(gè)網(wǎng)路由一層具有處理資訊能力的類神經(jīng)元所組成，通常此種網(wǎng)路的功能性較差，只能處理線性的問(wèn)題。

圖1.16：?jiǎn)螌忧梆伨W(wǎng)路。

1.5 網(wǎng)路架構(gòu)(1)單層前饋網(wǎng)路(single-lay1451.5 網(wǎng)路架構(gòu)(2)多層前饋網(wǎng)路(multi-layerfeedforwardnetworks)：根據(jù)鍵結(jié)的聯(lián)接方式，此種網(wǎng)路又可細(xì)分為(1)部份連結(jié)(partiallyconnected)網(wǎng)路，如圖1.17(a)或(2)完全連結(jié)(fullyconnected)網(wǎng)路，如圖1.17(b)，此種網(wǎng)路可處理複雜性高的問(wèn)題。

圖1.17：多層前饋網(wǎng)路：(a)部份連結(jié)；(b)完全連結(jié)。

1.5 網(wǎng)路架構(gòu)(2)多層前饋網(wǎng)路(multi-laye1461.5 網(wǎng)路架構(gòu)(3)循環(huán)式網(wǎng)路(recurrentnetworks)：此網(wǎng)路的輸出會(huì)透過(guò)另一組鍵結(jié)值，聯(lián)結(jié)於網(wǎng)路的某處(如輸入層或隱藏層)而迴授至網(wǎng)路本身。

圖1.18：循環(huán)式網(wǎng)路。

1.5 網(wǎng)路架構(gòu)(3)循環(huán)式網(wǎng)路(recurrentn1471.5 網(wǎng)路架構(gòu)(4)晶格狀網(wǎng)路(latticenetworks)：基本上，此種網(wǎng)路屬於前饋型網(wǎng)路，只不過(guò)其輸出層的類神經(jīng)元是以矩陣方式所排列。

圖1.19：二維的33之晶格狀網(wǎng)路。

1.5 網(wǎng)路架構(gòu)(4)晶格狀網(wǎng)路(latticenet1481.6 學(xué)習(xí)與記憶(1)「學(xué)習(xí)」(learning)

是自然生物或人造系統(tǒng)之所以有智慧的一個(gè)極為重要的特徵。學(xué)習(xí)與記憶是密不可分的，因?yàn)橛袑W(xué)習(xí)行為的發(fā)生才導(dǎo)致記憶的形成；能夠記憶才產(chǎn)生學(xué)習(xí)的效果。人類的記憶有以下的一些特點(diǎn)：人類的記憶屬於分散式(distributed)的儲(chǔ)存，並且是屬於聯(lián)想式的記憶(associatememory)。人類易於記憶，但卻難於回想(recall)

。

人類的記憶，根據(jù)儲(chǔ)存的期間長(zhǎng)短又分為三種：

(1)立即計(jì)憶(immediatememory)；(2)短程記憶(short-termmemory)；(3)長(zhǎng)程記憶(long-termmemory)。

1.6 學(xué)習(xí)與記憶(1)「學(xué)習(xí)」(learning)是自1491.6 學(xué)習(xí)與記憶(2)短程記憶:

負(fù)責(zé)的就是將當(dāng)時(shí)的外界狀態(tài)，經(jīng)過(guò)某種處理後暫存起來(lái)，隨著時(shí)間的增長(zhǎng)而逐漸消逝。根據(jù)生物神經(jīng)學(xué)的理論，短程記憶是動(dòng)態(tài)的(dynamic)，而且不斷地在彼此聯(lián)結(jié)的神經(jīng)元間以反覆地產(chǎn)生脈衝的型式表現(xiàn)。

長(zhǎng)程記憶:這種記憶是屬於靜態(tài)的(static)，並且是以神經(jīng)細(xì)胞間的聯(lián)結(jié)強(qiáng)度、聯(lián)結(jié)方式、及每個(gè)神經(jīng)細(xì)胞本身閥值大小不同的方式來(lái)儲(chǔ)存記憶。

1.6 學(xué)習(xí)與記憶(2)短程記憶:負(fù)責(zé)的就是將當(dāng)時(shí)的外界1501.6 學(xué)習(xí)與記憶(3)根據(jù)神經(jīng)解剖學(xué)家的研究，發(fā)現(xiàn)剛出生的老鼠，平均每個(gè)神經(jīng)元有大量的突觸與其它神經(jīng)元有所聯(lián)結(jié)，而年老的老鼠卻擁有較少的突觸，因?yàn)閷W(xué)習(xí)過(guò)程會(huì)逐漸確定神經(jīng)元間的聯(lián)結(jié)方式。

基本上，短程記憶與長(zhǎng)程記憶不是彼此毫無(wú)干涉地平行運(yùn)作，而是互相交替地連續(xù)運(yùn)作。所有的記憶都是以短程記憶開始，然後透過(guò)記憶力的集中和複誦才能形成長(zhǎng)程記憶。當(dāng)我們正記起某件事情時(shí)，腦中應(yīng)該有一些與此記憶相關(guān)的神經(jīng)元正在活化。許多臨床實(shí)驗(yàn)發(fā)現(xiàn)內(nèi)視丘(medialthalamus)負(fù)責(zé)記憶類型的最初統(tǒng)合，專司將感覺的輸入訊息傳達(dá)至皮質(zhì)。。

1.6 學(xué)習(xí)與記憶(3)根據(jù)神經(jīng)解剖學(xué)家的研究，發(fā)現(xiàn)剛出生1511.7 類神經(jīng)網(wǎng)路的學(xué)習(xí)規(guī)則(1)學(xué)習(xí)的策略(strategies)可分為以下幾種：機(jī)械式的背誦學(xué)習(xí)(rotelearning)。指令式的學(xué)習(xí)(learningbyinstruction)。類推式的學(xué)習(xí)(learningbyanalogy)。歸納式的學(xué)習(xí)(learningb