人工神經(jīng)網(wǎng)絡(luò)模型講解課件

第二章神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)生物神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)信息處理特征神經(jīng)元理論模型人工神經(jīng)網(wǎng)絡(luò)模型神經(jīng)網(wǎng)絡(luò)基本特性神經(jīng)網(wǎng)絡(luò)模擬神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理神經(jīng)網(wǎng)絡(luò)信息處理能力神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性和收斂性1腦神經(jīng)系統(tǒng)神經(jīng)元的結(jié)構(gòu)腦神經(jīng)元的功能2.1生物神經(jīng)網(wǎng)絡(luò)2

人工神經(jīng)網(wǎng)絡(luò)的研究實(shí)質(zhì)，就是ANN向BNN學(xué)習(xí)的問題；生物神經(jīng)系統(tǒng)就是指人的腦神經(jīng)系統(tǒng)；腦是生物的神經(jīng)中樞，表現(xiàn)在：腦是遺傳基因深化的結(jié)果；腦是后天生命體與環(huán)境相互作用的結(jié)果；腦是生命體在適應(yīng)環(huán)境過程中的經(jīng)驗(yàn)、學(xué)習(xí)和訓(xùn)練的結(jié)果；腦是生物漫長歷史進(jìn)化的結(jié)果；2.1.1腦神經(jīng)系統(tǒng)3認(rèn)知平面腦表現(xiàn)在較低的結(jié)構(gòu)組織（如分子、細(xì)胞等）水平上觀測不到的現(xiàn)象和性質(zhì)；例如：思維、意識、記憶、聯(lián)想等；更為奧秘的情感、靈感和創(chuàng)造等；表現(xiàn)為一個(gè)宏觀的、與認(rèn)知行為相聯(lián)系的集體特征；屬于信息活動(dòng)的范疇。5概括腦是物理平面和認(rèn)知平面的統(tǒng)一體；人工神經(jīng)網(wǎng)絡(luò)的研究目的通過揭示物理平面與認(rèn)知平面的映射，了解兩者相互聯(lián)系和作用的機(jī)理；構(gòu)造向生物神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)，具有類似人腦的智能思維和行為的機(jī)器。6神經(jīng)元是腦神經(jīng)系統(tǒng)的基本組成單元；人腦內(nèi)的神經(jīng)元大約有（數(shù)十億至數(shù)千億）個(gè)，神經(jīng)元之間廣泛連接，構(gòu)成來腦神經(jīng)系統(tǒng)智能信息處理的基礎(chǔ)。嚴(yán)格說，沒有任意兩個(gè)神經(jīng)元在現(xiàn)狀上是完全相同的，但絕大多數(shù)的神經(jīng)元具有共同的結(jié)構(gòu)特征和功能；腦神經(jīng)元可以分為三個(gè)部分：細(xì)胞體軸突樹突2.1.2腦神經(jīng)元的結(jié)構(gòu)78軸突（Axon）又稱軸索由胞體發(fā)出的一根粗細(xì)較均勻、表面光滑的突起，長度一般為幾個(gè)微米；是神經(jīng)元許多突起中最長的（唯一一根）；功能是傳出從細(xì)胞體輸出的神經(jīng)信息（又稱神經(jīng)沖動(dòng)impulse），相當(dāng)于細(xì)胞的輸出線路；其末端有許多神經(jīng)末梢（又稱軸突末梢），它把神經(jīng)信息分發(fā)給其它神經(jīng)元；相對于神經(jīng)元的信號輸出端口；兩種結(jié)構(gòu)形式髓鞘纖維（粗）無髓鞘纖維（細(xì)）10突觸（Synapse）又稱神經(jīng)鍵；一個(gè)神經(jīng)元的軸突（輸出端口）與另一個(gè)神經(jīng)元的樹突（輸入端口）相互連接，實(shí)現(xiàn)神經(jīng)元之間信息的傳遞，該接口部分稱為突觸；突觸由兩種類型興奮性抑制型每個(gè)神經(jīng)元有個(gè)突觸；每一個(gè)神經(jīng)元可以與個(gè)神經(jīng)元相互連接；軸突與樹突通過突觸一一連接，組成一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。12突觸（續(xù)）當(dāng)脈沖信息到達(dá)突觸前部分后，會(huì)產(chǎn)生某種化學(xué)物質(zhì)，從而突觸后部分細(xì)胞膜的離子通透性發(fā)生了變化，因此在突觸后產(chǎn)生了正或負(fù)的電位。這種電位稱作突觸后電位（PostSynapsePotential,簡稱PSP）。突觸前部分通過化學(xué)接觸，將信息傳遞到突觸后部分，產(chǎn)生電位變化，從而實(shí)現(xiàn)神經(jīng)元的信息傳遞。14膜電位（MembranePotential）細(xì)胞靜止時(shí)體內(nèi)相對于體外有一個(gè)電位差，稱為膜電位，大約60mv，膜外為正，膜內(nèi)為負(fù)；突觸后正或負(fù)的電位的產(chǎn)生，分別對應(yīng)于負(fù)的靜止電位的絕對值的減少或者增加。產(chǎn)生正電位稱為去極化，產(chǎn)生負(fù)電位稱為過極化。能產(chǎn)生正電位的突觸稱為興奮型突觸，此時(shí)有神經(jīng)脈沖輸出；產(chǎn)生負(fù)電位的突觸稱為抑制型突觸，此時(shí)沒有神經(jīng)脈沖輸出；15結(jié)構(gòu)可塑性由于突觸的信息傳遞特性時(shí)可變的，隨著神經(jīng)沖動(dòng)傳遞方式的變化，傳遞作用可增強(qiáng)或者減弱；當(dāng)軸突有信號輸出時(shí)，此時(shí)，可以認(rèn)為軸突和樹突已經(jīng)連接起來；當(dāng)軸突沒有信號輸出時(shí)，軸突與樹突可以認(rèn)為是不相連的；因此，細(xì)胞之間的連接是柔軟的，也即，細(xì)胞的結(jié)構(gòu)是可塑的。16神經(jīng)元是腦神經(jīng)系統(tǒng)信息處理的基本單位；具有以下功能空間整合功能時(shí)間整合功能興奮與擬制狀態(tài)脈沖與電位轉(zhuǎn)換突觸延時(shí)和不應(yīng)期學(xué)習(xí)、遺忘和疲勞2.1.3腦神經(jīng)元的功能17空間整合功能來自不同神經(jīng)元的輸入信號，作用于神經(jīng)元的不同突觸；所形成的突觸后電位，將進(jìn)行代數(shù)相加，使得神經(jīng)元的膜電位發(fā)生變化，這個(gè)過程稱為空間整合功能，又稱空間總和功能。該總和的程度與突觸后神經(jīng)元的時(shí)間常數(shù)有關(guān)；通俗講，空間整合功能就是神經(jīng)元對同一時(shí)刻不同神經(jīng)元輸入的神經(jīng)沖動(dòng)（輸入信號）有代數(shù)求和功能。18興奮與抑制狀態(tài)神經(jīng)元具有兩種工作狀態(tài)興奮狀態(tài)抑制狀態(tài)神經(jīng)元如何確定其工作狀態(tài)？根據(jù)神經(jīng)元膜電位的變化來確定神經(jīng)元的膜電位是外正內(nèi)負(fù)，神經(jīng)元細(xì)胞膜外電位為基準(zhǔn)電位（0mv），膜外鈉平衡電位約50mv膜內(nèi)鉀平衡電位約-80mv閾值電位約-40mv靜止電位約-60mv20神經(jīng)元內(nèi)部電位示意圖21神經(jīng)元在興奮狀態(tài)產(chǎn)生的神經(jīng)脈沖，可以認(rèn)為是等幅、恒寬的離散脈沖信號。其幅度約為

60～100mv，寬度約為1ms有神經(jīng)脈沖輸出的狀態(tài)稱為狀態(tài)“1”；沒有神經(jīng)脈沖輸出的狀態(tài)稱為狀態(tài)“0”；神經(jīng)元的兩個(gè)工作狀態(tài)滿足“1/0律”23脈沖與電位轉(zhuǎn)換也即神經(jīng)元具有A/D、D/A轉(zhuǎn)換功能數(shù)模（D/A）轉(zhuǎn)換功能一個(gè)神經(jīng)元可以接受個(gè)以上的突觸傳輸來往的脈沖信號；經(jīng)過神經(jīng)元的時(shí)空整合功能，在突觸后轉(zhuǎn)化為可以連續(xù)變化的膜電位；模數(shù)（A/D）轉(zhuǎn)換功能膜電位的變化，可以使神經(jīng)元進(jìn)入興奮狀態(tài)，產(chǎn)生脈沖輸出；或者使神經(jīng)元進(jìn)入抑制狀態(tài)，沒有神經(jīng)脈沖輸出；有脈沖輸出可看做為高電平1，沒有脈沖輸出也可以看做為低電平0；一個(gè)神經(jīng)元就具有D/A、A/D功能，是一個(gè)基本信息處理單元。24突觸延時(shí)神經(jīng)脈沖從突觸前傳遞到突觸后，也即從神經(jīng)脈沖到達(dá)突觸到生產(chǎn)突觸后電位，有0.2～1ms的時(shí)間延時(shí)；是神經(jīng)脈沖到突觸前，引起化學(xué)物質(zhì)的分泌、擴(kuò)散到突觸間隙，到達(dá)突觸后產(chǎn)生膜電位的時(shí)間的總和。26不應(yīng)期在相鄰的兩個(gè)神經(jīng)脈沖之間，需要一個(gè)時(shí)間間隔，就是不應(yīng)期；因?yàn)樵谝粋€(gè)神經(jīng)脈沖產(chǎn)生之后，神經(jīng)元的膜電位閾值會(huì)變化：在激勵(lì)神經(jīng)元產(chǎn)生神經(jīng)脈沖后的一段時(shí)間內(nèi)，其閾值會(huì)變得非常大，此時(shí)，無論給予多少激勵(lì)，時(shí)空整合后的膜電位都不會(huì)超過閾值，此階段稱為絕對不應(yīng)期；稍后，神經(jīng)元的閾值會(huì)慢慢下降，此時(shí)對應(yīng)于相對不應(yīng)期；最后，閾值恢復(fù)到原來的數(shù)值，為正常狀態(tài)。27學(xué)習(xí)、遺忘、疲勞神經(jīng)元結(jié)構(gòu)的可塑性，神經(jīng)元之間的突觸的傳遞作用有增強(qiáng)、減弱和飽和，所以，神經(jīng)元具有相應(yīng)的學(xué)習(xí)、遺忘和疲勞總結(jié)生物神經(jīng)元不是一個(gè)簡單的二值邏輯元件，而是一個(gè)超級的微型生物信息處理機(jī)由許許多多個(gè)神經(jīng)元構(gòu)成的大腦，具有智能信息處理功能。28腦是人體的中樞神經(jīng)系統(tǒng)是一個(gè)由個(gè)神經(jīng)元廣泛互聯(lián)構(gòu)成的一個(gè)智能信息處理系統(tǒng)；腦神經(jīng)網(wǎng)絡(luò)具有其固有的特征大規(guī)模并行處理信息處理和信息存儲(chǔ)合二為一很強(qiáng)的容錯(cuò)性自組織學(xué)習(xí)能力能接收和處理自然信息求滿意解而不求精確解強(qiáng)的系統(tǒng)性2.2腦神經(jīng)網(wǎng)絡(luò)信息處理特征30大規(guī)模并行處理人腦智能信息處理的工作模式是大規(guī)模并行處理；單個(gè)神經(jīng)元的信息傳遞速度是很慢的，延時(shí)在1ms量級，而電子器件的門電路延時(shí)在10ns，慢5個(gè)數(shù)量級；每一個(gè)神經(jīng)元的處理功能和速度，均比不過計(jì)算機(jī)的一條指令；但人腦對于復(fù)雜過程的反應(yīng)卻是非?？斓?，遠(yuǎn)遠(yuǎn)超過計(jì)算機(jī)的反應(yīng)速度。31例如，如圖所示的文字識別問題計(jì)算機(jī)必須逐點(diǎn)掃描，轉(zhuǎn)換成圖像，然后進(jìn)行模式識別。如果圖像的噪聲很大，則一般難于很快得出正確的結(jié)論。但人能夠文字的知識背景，一眼就能得出正確結(jié)論。因?yàn)槟X神經(jīng)信息處理是一個(gè)眾多神經(jīng)元所組成的并行處理系統(tǒng)；巨大的腦神經(jīng)元提供了一個(gè)巨大的存儲(chǔ)空間，存儲(chǔ)有大量的知識和經(jīng)驗(yàn)，能夠用一定的空間復(fù)雜性來有效地降低問題的時(shí)間復(fù)雜性，從而能在需要時(shí)以很快的反應(yīng)速度作出判斷。32信息處理和信息存儲(chǔ)合二為一腦神經(jīng)元既是信息處理單元，又是信息存儲(chǔ)單元；作為神經(jīng)元之間連接接口的突觸（連接強(qiáng)度），既是信息轉(zhuǎn)換站，又是信息存儲(chǔ)器；這種信息處理和信息存儲(chǔ)合一，能夠直接獲得信息，而不必像計(jì)算機(jī)哪樣，先找到存儲(chǔ)地址，然后提取存儲(chǔ)內(nèi)容；也是基于該特點(diǎn)，人腦在回憶問題時(shí)，具有從部分信息恢復(fù)全部信息的能力；例如：能很快認(rèn)出多年未見、面貌大變的朋友；能根據(jù)不完整的相片進(jìn)行辨認(rèn)等。33很強(qiáng)的容錯(cuò)性人每天大約有40萬個(gè)腦神經(jīng)細(xì)胞死亡，也有相當(dāng)數(shù)量的神經(jīng)細(xì)胞生長；但是，人的認(rèn)知功能并不會(huì)出現(xiàn)突然的降低；神經(jīng)系統(tǒng)由于疾病或者損傷，其功能會(huì)隨著損傷的神經(jīng)元數(shù)目的增加而逐步丟失；這表明，腦神經(jīng)系統(tǒng)的信息存儲(chǔ)和表示時(shí)分布式的，具有很強(qiáng)的容錯(cuò)能力；信息不是存儲(chǔ)在某些神經(jīng)元內(nèi)，而是分布在整個(gè)神經(jīng)網(wǎng)絡(luò)中，并體現(xiàn)在神經(jīng)元之間的突觸連接強(qiáng)度上；當(dāng)少量的神經(jīng)元受到損壞，通過自組織，其它眾多的神經(jīng)元作出的總體模式，將使得網(wǎng)絡(luò)的整體功能仍然有效；數(shù)字計(jì)算機(jī)，元件的局部損壞和程序的微小錯(cuò)誤，都可能引起嚴(yán)重后果。34自組織和自學(xué)習(xí)能力人腦神經(jīng)系統(tǒng)具有很強(qiáng)的自組織和自學(xué)習(xí)能力；能根據(jù)外界環(huán)境的輸入信息，改變突觸之間的連接強(qiáng)度，重新安排神經(jīng)元之間的相互關(guān)系，從而達(dá)到適應(yīng)環(huán)境的變化的目的；大腦功能既受先天因素制約，有可通過后天的訓(xùn)練、學(xué)習(xí)、經(jīng)歷而得到增強(qiáng)；例如：正常人先天條件類似，但因經(jīng)歷不同在專業(yè)知識上千差萬別；盲人的聽覺、觸覺特別發(fā)達(dá)，也是后天逐步形成的；人類的很多智能活動(dòng)，并不是按照邏輯推理方式進(jìn)行的，而是由于訓(xùn)練“習(xí)慣成自然”形成的；例如：人們會(huì)騎自行車，決不是按照力學(xué)原理來推斷每步的動(dòng)作的；小孩能很快識別父母，但很難說出“特征是什么”。35能接收和處理自然信息人類從感覺器官所接收的視覺信息、聽覺信息都是連續(xù)的；所見到的環(huán)境景物和所聽到的語言音響等經(jīng)常帶有模糊信息；每天所遇到的要解決的問題也是隨機(jī)的；連續(xù)的、模糊的、隨機(jī)的信息稱為自然信息；人腦神經(jīng)系統(tǒng)能夠通過內(nèi)部自組織、自學(xué)習(xí)的能力，不斷地適應(yīng)外界環(huán)境，有效地、迅速地處理大量連續(xù)的、模糊的和隨機(jī)的自然信息；這是現(xiàn)代計(jì)算機(jī)科學(xué)所努力的目標(biāo)。36求滿意解而不是求精確解人類的日常信息處理和運(yùn)動(dòng)控制，例如行走、買東西、用語言表達(dá)意見等，都不是按照最優(yōu)的、最精確的方式求解，而是以能解決問題為原則，既求滿意解就可以了；例如：買東西，比較幾家的商品及其價(jià)格，人就能智能地作出判斷，是自己滿意就可以了。尋找相對最優(yōu)解或者滿意解，要比尋找絕對精確的最優(yōu)解節(jié)省大量的信息處理時(shí)間和成本；這也是神經(jīng)脈沖傳遞速度并不快的腦神經(jīng)系統(tǒng)，在決策識別等智能方面遠(yuǎn)優(yōu)于數(shù)字計(jì)算機(jī)的主要原因；Hopfield模型求解TSP問題就是利用了這個(gè)特性。37強(qiáng)的系統(tǒng)性大腦的各個(gè)部分可以看做為一個(gè)大系統(tǒng)中的許多子系統(tǒng)，各個(gè)子系統(tǒng)之間具有很強(qiáng)的相互聯(lián)系，一些子系統(tǒng)可以調(diào)節(jié)另一些子系統(tǒng)的行為；單個(gè)神經(jīng)元的功能，不能體現(xiàn)為全體宏觀系統(tǒng)的功能；另外，人腦的神經(jīng)活動(dòng)，還有感情、靈感、創(chuàng)造等高層次的信息活動(dòng)，這些，有待于進(jìn)一步的研究。38數(shù)字計(jì)算機(jī)與人腦之間的比較比較內(nèi)容基本單位單元數(shù)量信號形式動(dòng)作速度記憶形式信息處理系統(tǒng)結(jié)構(gòu)能力擅長數(shù)字計(jì)算機(jī)門電路電脈沖秒按地址記憶集中數(shù)字處理串行處理高精度數(shù)值計(jì)算人腦神經(jīng)元神經(jīng)脈沖秒按內(nèi)容記憶聯(lián)想分布模擬處理串、并行處理模式識別、模糊判斷39神經(jīng)元是神經(jīng)網(wǎng)絡(luò)系統(tǒng)的控制和信息處理的基本單元；門電路是計(jì)算機(jī)的基本單元；神經(jīng)元在功能上比門電路要復(fù)雜；模擬神經(jīng)元一方面希望能對神經(jīng)元的功能和如何由神經(jīng)元構(gòu)成功能更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)有更好的了解，另一方面，也希望能借此對數(shù)字計(jì)算機(jī)的發(fā)展有所幫助；人工神經(jīng)元理論模型的研究存在著兩個(gè)不同的方向：微觀研究宏觀研究2.3神經(jīng)元理論模型40微觀研究著眼于神經(jīng)元本身；神經(jīng)元模型盡可能逼真地模擬生物神經(jīng)元的結(jié)構(gòu)和各種特性，即要盡可能細(xì)化神經(jīng)元模型；宏觀研究著眼于從神經(jīng)元模型構(gòu)成能完成復(fù)雜功能的神經(jīng)網(wǎng)絡(luò)；要盡可能簡化神經(jīng)元模型，只保留哪些對完成功能的必不可少的特性；41根據(jù)生物神經(jīng)細(xì)胞的結(jié)構(gòu)和功能，從1943年以來，提出了有上百種神經(jīng)元模型；比較有名的有以下幾種：MP模型MP模型的改進(jìn)形式類MP模型一般理論模型421943年由美國心理學(xué)家McCulloch和數(shù)學(xué)家Pitts共同提出的第一個(gè)神經(jīng)元理論模型；稱為MP模型、M-P模型MP模型沒有考慮神經(jīng)元的時(shí)間特性；單個(gè)神經(jīng)元MP模型的結(jié)構(gòu)2.3.1MP模型43有N個(gè)神經(jīng)元與之相連；N個(gè)神經(jīng)元的輸入為當(dāng)，表示第個(gè)神經(jīng)元處于興奮狀態(tài)，有信號輸出；當(dāng)，表示第個(gè)神經(jīng)元處于抑制狀態(tài)，沒有信號輸出；這N個(gè)神經(jīng)元對該神經(jīng)元的作用的程度可以用一個(gè)系數(shù)表示，稱為權(quán)系數(shù)或者連接強(qiáng)度。

表示第個(gè)神經(jīng)元有信號輸入到該神經(jīng)元，表示第個(gè)神經(jīng)元沒有信號輸入；44按照神經(jīng)元的時(shí)空整合功能，該神經(jīng)元的輸出可以表示為：式中，是閾值，是閾值函數(shù)或者階躍函數(shù)45從而，神經(jīng)元的輸出為令則有46MP模型的特點(diǎn)：神經(jīng)元輸出遵循“0/1律”；神經(jīng)元為一個(gè)“多輸入/單輸出”的結(jié)構(gòu)；每一個(gè)神經(jīng)元通過權(quán)系數(shù)來表征其對神經(jīng)元的作用程度；表示有作用，表示沒有作用；具有空間整合功能：具有閾值作用：不具有時(shí)間整合、延時(shí)等功能，沒有不應(yīng)期。47當(dāng)有N個(gè)神經(jīng)元互連時(shí)，則每一個(gè)神經(jīng)元的輸入就包括其它N-1個(gè)神經(jīng)元的輸出和自己的輸出；第個(gè)神經(jīng)元到第個(gè)神經(jīng)元的連接權(quán)系數(shù)方向是：第個(gè)神經(jīng)元的輸出為：N個(gè)神經(jīng)元的輸出為48式中49如果將閾值也看做為一個(gè)權(quán)值，即則第個(gè)神經(jīng)元的輸出為：寫出矩陣形式為：50MP模型模擬了生物神經(jīng)元的一些基本結(jié)構(gòu)與功能MP模型很簡單，功能有限；人們在MP模型的基礎(chǔ)上，進(jìn)行了一些修改，提出了MP模型的改進(jìn)形式：時(shí)延MP模型改進(jìn)的MP模型類MP模型2.3.2MP模型的改進(jìn)形式51時(shí)延MP模型在MP模型的基礎(chǔ)上增加了時(shí)延功能為第個(gè)神經(jīng)元的突觸延時(shí)，有52時(shí)延MP模型的特點(diǎn)神經(jīng)元輸出遵循“0/1律”；神經(jīng)元為一個(gè)“多輸入/單輸出”的結(jié)構(gòu)；每一個(gè)神經(jīng)元通過權(quán)系數(shù)來表征其對神經(jīng)元的作用程度；表示有作用，表示沒有作用；具有空間整合功能：具有閾值作用：具有時(shí)延功能，各個(gè)神經(jīng)元具有恒定的工作節(jié)奏，取決于突觸延時(shí)，為常數(shù)，即各種神經(jīng)元的時(shí)延是固定不變的。不具有時(shí)間整合功能，沒有不應(yīng)期。53改進(jìn)的MP模型在時(shí)延MP模型的基礎(chǔ)上，考慮時(shí)間整合功能和不應(yīng)期，就構(gòu)成了改進(jìn)的MP模型改進(jìn)的MP模型的結(jié)構(gòu)圖54第個(gè)神經(jīng)元的輸出為隨變化，也即隨時(shí)延變化此時(shí)，連接權(quán)系數(shù)可以取連續(xù)值，而不再只取0，1二值。55表示該神經(jīng)元對過去所有輸入信號進(jìn)行時(shí)間空間整合；表示第個(gè)神經(jīng)元內(nèi)反饋連接權(quán)系數(shù)，其值用來模擬不應(yīng)期功能為較大的正數(shù)，為單調(diào)遞減的指數(shù)函數(shù)56改進(jìn)的MP模型的特點(diǎn)神經(jīng)元輸出遵循“0/1律”；神經(jīng)元為一個(gè)“多輸入/單輸出”的結(jié)構(gòu)；每一個(gè)神經(jīng)元通過權(quán)系數(shù)來表征其對神經(jīng)元的作用程度，其值不再取“0，1”，而是可以取連續(xù)值；具有空間時(shí)間整合功能；具有閾值作用；具有不應(yīng)期功能。57其它類似MP模型的兩種形式非線性模型微分方程模型2.3.3類MP模型58非線性模型非線性模型與MP模型的結(jié)構(gòu)一樣，只不過其輸出函數(shù)不僅可以為閾值函數(shù)，也可以為其它類型的函數(shù)?？梢杂?種不同的輸出函數(shù)階躍函數(shù)（閾值函數(shù)）子閾積累函數(shù)分段線性函數(shù)恒等函數(shù)S形函數(shù)雙曲正切函數(shù)59階躍（閾值）函數(shù)表達(dá)式為60子閾積累函數(shù)表達(dá)式為為斜率，一般可取61分段線性函數(shù)表達(dá)式為62恒等函數(shù)表達(dá)式為63S形（Sigmoid）函數(shù)表達(dá)式為64雙曲正切函數(shù)表達(dá)式為65雙曲正切函數(shù)與S形函數(shù)非常相似，只不過其均值為0；在這六個(gè)非線性函數(shù)中，S形函數(shù)和雙曲正切函數(shù)具有非常好的性能；S形函數(shù)可以看做是處理單元的一個(gè)非線性增益，其增益的大小取決于給定點(diǎn)的斜率，即一階導(dǎo)數(shù)。當(dāng)從增加到0時(shí)，增益從0增加到最大；當(dāng)從0增加到時(shí)，增益從最大減少到0；而且總是正數(shù)；可以處理小信號（在0附近），也可以處理大信號（在坐標(biāo)軸的兩端）；66微分方程模型為了反映神經(jīng)元狀態(tài)參數(shù)連續(xù)變化的性能，常用一階非線性微分方程模型來表示；神經(jīng)元的狀態(tài)和輸出的關(guān)系為：為時(shí)間常數(shù)，為神經(jīng)元在時(shí)刻的輸入，為神經(jīng)元時(shí)刻的狀態(tài)，為神經(jīng)元在時(shí)刻的輸出，為輸出函數(shù)，為閾值。67美國PDP（并行分布處理）研究組提出了一個(gè)神經(jīng)元的一般理論模型在N個(gè)神經(jīng)元組成的神經(jīng)網(wǎng)絡(luò)中，每一個(gè)神經(jīng)元都是一個(gè)基本處理單元。每一個(gè)神經(jīng)元都有一個(gè)活化值，也就是神經(jīng)元所處的狀態(tài)，用表示?；罨迪喈?dāng)于生物神經(jīng)元的膜電位，只要活化值確定了，則神經(jīng)元的狀態(tài)也就確定了。2.3.4神經(jīng)元一般理論模型68神經(jīng)元之間的相互作用，是由相鄰神經(jīng)元之間的信號傳遞來完成的；神經(jīng)元輸出信號越強(qiáng)，則對相鄰神經(jīng)元的影響越大；神經(jīng)元輸出信號的強(qiáng)弱，取決于該神經(jīng)元的活化值的大??；每一個(gè)神經(jīng)元都將當(dāng)前的活化值，通過一個(gè)輸出函數(shù)映射為一個(gè)輸出函數(shù)該輸出通過連接送到網(wǎng)絡(luò)的其它神經(jīng)元，該連接稱為連接強(qiáng)度或者連接權(quán)系數(shù)，用表示，是一個(gè)實(shí)數(shù)，方向；神經(jīng)元的所有輸入與權(quán)系數(shù)的代數(shù)和與它前一時(shí)刻的活化值一起，通過活化函數(shù)決定了其當(dāng)前時(shí)刻的活化值。69神經(jīng)元的一般理論模型結(jié)構(gòu)作用方向70模型公式式中，是第個(gè)神經(jīng)元的凈輸入分別是神經(jīng)元的輸出是神經(jīng)元到神經(jīng)元的連接權(quán)系數(shù)是神經(jīng)元的在時(shí)刻的活化狀態(tài)是神經(jīng)元的外部輸入（可有可無）可以取六種函數(shù)中的任何一種形式71由于函數(shù)可以取六個(gè)函數(shù)之一，所以神經(jīng)元的活化值可以為離散的，也可以是連續(xù)的；取值不同，構(gòu)成的神經(jīng)網(wǎng)絡(luò)模型的特性會(huì)有所不同；討論：輸出函數(shù)和活化函數(shù)不同形式對于網(wǎng)絡(luò)模型的影響；假設(shè)，神經(jīng)元的輸出在集合A內(nèi)取值，

R表示整個(gè)實(shí)數(shù)集，I表示（0,1）區(qū)間實(shí)數(shù)集；72假設(shè)：為線性函數(shù)，是閾值函數(shù)則，A＝｛0，1｝是的一個(gè)映射是的一個(gè)映射具有這種作用方式的神經(jīng)元稱為線性閾值單元，例如：Perceptron模型中的神經(jīng)元就屬于此類。神經(jīng)元輸出為：73假設(shè)：為線性函數(shù)，也是線性函數(shù)則，A＝R

是的一個(gè)映射是的一個(gè)映射具有這種作用方式的神經(jīng)元稱為線性單元，例如：Adaline模型中的神經(jīng)元就屬于此類。神經(jīng)元輸出為：74假設(shè)： 為線性函數(shù)，為是單調(diào)遞增函數(shù)（S型函數(shù)）則，A=I，即可?。?,1）區(qū)間是的一個(gè)映射是的一個(gè)映射具有這種作用方式的神經(jīng)元具有非常好的處理性能，例如：BP模型中的神經(jīng)元就屬于此類。神經(jīng)元輸出為：75人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)模型分類神經(jīng)網(wǎng)絡(luò)模型簡介2.4人工神經(jīng)網(wǎng)絡(luò)模型76人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)模型是由大量的神經(jīng)元廣泛互連而構(gòu)成的網(wǎng)絡(luò)；模擬了人腦神經(jīng)網(wǎng)絡(luò)的基本特性；人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)神經(jīng)網(wǎng)絡(luò)的基本處理單元是神經(jīng)元，整個(gè)神經(jīng)網(wǎng)絡(luò)是由大量簡單的神經(jīng)元相互連接而構(gòu)成的；大量的神經(jīng)元按照不同的方式連接，就可以構(gòu)成不同類型的神經(jīng)網(wǎng)絡(luò)模型；77每一個(gè)神經(jīng)元之間的連接強(qiáng)度是由神經(jīng)網(wǎng)絡(luò)內(nèi)部權(quán)值決定的，當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)確定后，將根據(jù)學(xué)習(xí)規(guī)則修正神經(jīng)元之間的連接強(qiáng)度，從而獲得有關(guān)問題的知識和解決方案；也即神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)特性；各個(gè)神經(jīng)元的工作可以是同步方式，也可以是異步方式；78人工神經(jīng)網(wǎng)絡(luò)模型分類人工神經(jīng)網(wǎng)絡(luò)模型的分類可以有不同的分類方法可以有以下分類方法按照組織形式按照拓樸結(jié)構(gòu)按照輸入輸出類型按照學(xué)習(xí)方式79按照組織形式分類根據(jù)不同的組織形式和抽象級，人工神經(jīng)網(wǎng)絡(luò)模型可以分為四級：1）神經(jīng)元級模型2）網(wǎng)絡(luò)級模型3）系統(tǒng)級模型4）智能級模型801）神經(jīng)元級模型神經(jīng)元級模型主要研究單個(gè)神經(jīng)元的基本特性和功能，探索神經(jīng)元對輸入信息有選擇的響應(yīng)、基本存儲(chǔ)功能的機(jī)理等；例如：MP模型一般理論模型等812）網(wǎng)絡(luò)級模型網(wǎng)絡(luò)級模型是由許許多多相同的神經(jīng)元相互連接而構(gòu)成的網(wǎng)絡(luò)；用于完成某些特定的任務(wù)，通過網(wǎng)絡(luò)級模型可以從整體上研究神經(jīng)元的集體特性；例如：BP模型Hopfield模型等目前我們研究的人工神經(jīng)網(wǎng)絡(luò)絕大部分是屬于網(wǎng)絡(luò)級模型。823）系統(tǒng)級模型系統(tǒng)級模型是由許多個(gè)不同性能的網(wǎng)絡(luò)級模型相互連接構(gòu)成的；用來模擬生物神經(jīng)網(wǎng)絡(luò)更復(fù)雜和抽象的性質(zhì)；例如：神經(jīng)網(wǎng)絡(luò)集成將幾個(gè)不同的神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行綜合判斷，以提高系統(tǒng)的整體輸出精度和準(zhǔn)確性。834）智能級模型智能級模型是由多個(gè)系統(tǒng)級模型構(gòu)成的；是一種最抽象的層次，也是最高層次的神經(jīng)網(wǎng)絡(luò)模型；它可以模擬人腦信息處理的運(yùn)行、過程、算法和策略，可以模擬感知、思維等基本過程；具有相當(dāng)高的智能程度；是人工神經(jīng)網(wǎng)絡(luò)學(xué)科所追求的最高境界。84按照網(wǎng)絡(luò)拓樸結(jié)構(gòu)分類人工神經(jīng)網(wǎng)絡(luò)模型根據(jù)網(wǎng)絡(luò)拓樸結(jié)構(gòu)可以分為兩種基本模型：前饋（feed-forward）網(wǎng)絡(luò)模型Perceptron、BP模型等反饋（feed-back）網(wǎng)絡(luò)模型Hopfield模型等85具體可以分為四種情況1）不含反饋的前饋網(wǎng)絡(luò)2）從輸出層到輸入層由反饋的前饋網(wǎng)絡(luò)3）層內(nèi)神經(jīng)元相互連接的前饋網(wǎng)絡(luò)4）反饋網(wǎng)絡(luò)861）不含反饋的前饋網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的神經(jīng)元分層排列；由輸入層、隱蔽層（中間層）、輸出層組成每一層的神經(jīng)元只接收前一層神經(jīng)元的輸入同一層神經(jīng)元之間沒有連接各層神經(jīng)元的數(shù)量可以不相同輸入模式按照順序變換后，成為輸出層的輸出Perceptron、BP等模型屬于此類872）從輸出層到輸入層有反饋的前饋網(wǎng)絡(luò)整個(gè)網(wǎng)絡(luò)也是有多層前饋網(wǎng)絡(luò)組成；只是從輸出層到輸入層有反饋，其它各層沒有反饋；用于存儲(chǔ)某種模式，提取新知識；例如福島和Jordan提出的神經(jīng)認(rèn)知機(jī)883）層內(nèi)神經(jīng)元相互連接的前饋網(wǎng)絡(luò)層與層之間的神經(jīng)元相互前向連接；同一層神經(jīng)元之間也有相互連接，可以實(shí)現(xiàn)同層神經(jīng)元之間的橫向抑制；例如：可以將某一層內(nèi)具有最大輸出的神經(jīng)元挑選出來，而抑制其它神經(jīng)元；例如：自組織神經(jīng)網(wǎng)絡(luò)（ART模型、Kohonen特征映射模型）就屬于此類894）反饋網(wǎng)絡(luò)又稱全互連網(wǎng)絡(luò)沒有方向，即任意兩個(gè)神經(jīng)元都有連接，并且是雙方向的連接；兩個(gè)方向的連接強(qiáng)度可以相等，也可以不相等；例如：Hopfield模型、Boltzman模型90在無反饋的前饋網(wǎng)絡(luò)中，信號一旦通過某個(gè)神經(jīng)元，過程就結(jié)束了；在反饋網(wǎng)絡(luò)中，信號要在神經(jīng)元之間反復(fù)傳遞，網(wǎng)絡(luò)處于一種不斷改變狀態(tài)的動(dòng)態(tài)之中；在滿足一定的條件下，經(jīng)過若干次狀態(tài)變化后，網(wǎng)絡(luò)中各個(gè)神經(jīng)元的狀態(tài)不再變化，此時(shí)，網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)；也有可能，網(wǎng)絡(luò)的狀態(tài)總是達(dá)不到穩(wěn)定的狀態(tài)，此時(shí)網(wǎng)絡(luò)是不穩(wěn)定的；反饋網(wǎng)絡(luò)不一定是穩(wěn)定的，所以必須考慮其穩(wěn)定性。而前饋網(wǎng)絡(luò)則肯定穩(wěn)定，所以不必考慮其穩(wěn)定性。91按照網(wǎng)絡(luò)輸入輸出類型分類按照網(wǎng)絡(luò)的輸入輸出數(shù)據(jù)的類型可以分為五類：連續(xù)性模型離散型模型確定性模型隨機(jī)型模型模糊型模型92按照網(wǎng)絡(luò)的學(xué)習(xí)方式分類按照網(wǎng)絡(luò)的網(wǎng)絡(luò)的學(xué)習(xí)方式可以分為二種模型：有指導(dǎo)學(xué)習(xí)，又稱有教師（監(jiān)督）學(xué)習(xí)無指導(dǎo)學(xué)習(xí)又稱無教師（監(jiān)督）學(xué)習(xí)93神經(jīng)網(wǎng)絡(luò)模型簡介目前，實(shí)用的神經(jīng)網(wǎng)絡(luò)模型很多；每年，還有新的神經(jīng)網(wǎng)絡(luò)模型提出；主要的神經(jīng)網(wǎng)絡(luò)模型感知器（Perceptron）可訓(xùn)練的信息分類單層網(wǎng)絡(luò)，最早應(yīng)用于實(shí)際Madaline具有最小均方誤差學(xué)習(xí)功能的線性網(wǎng)絡(luò)，主要應(yīng)用于自適應(yīng)控制94反向傳播（BP）將輸出誤差反饋到網(wǎng)絡(luò)的每一層，調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度，達(dá)到學(xué)習(xí)的目的；是目前應(yīng)用最為廣泛的神經(jīng)網(wǎng)絡(luò)模型；Hopfiled由相同單元構(gòu)成的單層反饋網(wǎng)絡(luò)，能實(shí)現(xiàn)聯(lián)想記憶和優(yōu)化計(jì)算；Kohonen自組織特征映射能根據(jù)輸入信息的內(nèi)在特征，將相同或相近特征的模式映射到同一個(gè)區(qū)間，從而實(shí)現(xiàn)模式自動(dòng)分類；95人工神經(jīng)網(wǎng)絡(luò)是基于人腦的結(jié)構(gòu)和功能建立起來的新學(xué)科，試圖模擬人腦的作者方式和信息處理方式而建立的信息處理系統(tǒng)，是信號處理學(xué)科的一個(gè)分支；目前，人工神經(jīng)網(wǎng)絡(luò)是人腦的低級模擬；很多主要特性和人腦的智能特性類似；2.5人工神經(jīng)網(wǎng)絡(luò)基本特性96并行結(jié)構(gòu)和并行處理機(jī)制；信息的分布處理；自適應(yīng)性；容錯(cuò)性；優(yōu)化計(jì)算特性；人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)的基本特性97并行和并行處理機(jī)制人工神經(jīng)網(wǎng)絡(luò)模型是由大量的神經(jīng)元廣泛互連而構(gòu)成的網(wǎng)絡(luò)；每一個(gè)神經(jīng)元都是可以同時(shí)操作的；神經(jīng)網(wǎng)絡(luò)的計(jì)算功能、信息處理功能部分在每個(gè)神經(jīng)元上；神經(jīng)網(wǎng)絡(luò)再結(jié)構(gòu)上是并行的，其處理機(jī)制也是并行的；網(wǎng)絡(luò)的狀態(tài)變化反應(yīng)了神經(jīng)網(wǎng)絡(luò)的處理過程；當(dāng)前，大部分神經(jīng)網(wǎng)絡(luò)都是用數(shù)字計(jì)算機(jī)的串行工作方式去模擬并行工作方式，所以并不能直接反映神經(jīng)網(wǎng)絡(luò)的真正能力。98信息分布處理神經(jīng)網(wǎng)絡(luò)的信息處理結(jié)果，是存儲(chǔ)在各神經(jīng)元之間的連接強(qiáng)度上；要獲得存儲(chǔ)的信息，采用“聯(lián)想”的方法；當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)的輸入一個(gè)激勵(lì)時(shí)，網(wǎng)絡(luò)要在已存儲(chǔ)的信息中尋找與該輸入匹配最好的存儲(chǔ)信息，作為該輸入的輸出（解）；就好像一個(gè)教師能容易地辨認(rèn)出他的學(xué)生的筆跡，不管該筆跡時(shí)潦草的，還是變形的。99自適應(yīng)性自適應(yīng)型是指系統(tǒng)對外界環(huán)境的不敏感性；即，當(dāng)外界環(huán)境發(fā)生變化時(shí)，系統(tǒng)仍然能保持良好的性能，或者，自己能適應(yīng)外界環(huán)境的變化；自適應(yīng)性包括：自學(xué)習(xí)、自組織和綜合推理自學(xué)習(xí)當(dāng)外界環(huán)境發(fā)生了變化，在結(jié)果一段時(shí)間之后，系統(tǒng)能改善自己的性能，就認(rèn)為系統(tǒng)在這段時(shí)間內(nèi)進(jìn)行了學(xué)習(xí)；例如，神經(jīng)網(wǎng)絡(luò)能識別模式（圖形等）就必須先進(jìn)行學(xué)習(xí)；也即，必須先教網(wǎng)絡(luò)或者訓(xùn)練；屬于有指導(dǎo)的學(xué)習(xí)。100自組織在訓(xùn)練時(shí)，有時(shí)只給它大量的樣本，沒有指定期望的輸出，網(wǎng)絡(luò)就自動(dòng)按輸入樣本的特性對他們進(jìn)行分類；網(wǎng)絡(luò)通過訓(xùn)練自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接權(quán)系數(shù)，從而實(shí)現(xiàn)對輸入樣本的分類。這種特性就稱為自組織特性；自組織特性屬于無指導(dǎo)的學(xué)習(xí)；101綜合推理能力指網(wǎng)絡(luò)具有正確響應(yīng)和分辨從未見過的輸入樣本的能力；例如，在進(jìn)行數(shù)字圖形識別時(shí)，對于不完全的數(shù)字圖形或者疊加有大量噪聲而失真的數(shù)字圖形仍然能正確辨認(rèn)；102容錯(cuò)性與人腦具有很強(qiáng)的容錯(cuò)性一樣，人工神經(jīng)網(wǎng)絡(luò)也具有較強(qiáng)的容錯(cuò)性；神經(jīng)網(wǎng)絡(luò)能從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和作出判斷；由于信息時(shí)存儲(chǔ)在整個(gè)神經(jīng)網(wǎng)絡(luò)的連接權(quán)系數(shù)上，而不是存儲(chǔ)在某些單元，一定比例的神經(jīng)元不參與運(yùn)算，對整個(gè)神經(jīng)網(wǎng)絡(luò)的性能不會(huì)有太大的影響；103優(yōu)化計(jì)算特性神經(jīng)網(wǎng)絡(luò)的優(yōu)化計(jì)算特性主要指神經(jīng)網(wǎng)絡(luò)在求解優(yōu)化計(jì)算問題時(shí)，采用與人腦一樣的策略；求滿意解，不求精確解；Hopfield網(wǎng)絡(luò)就是一個(gè)例子104人工神經(jīng)網(wǎng)絡(luò)的局限性神經(jīng)網(wǎng)絡(luò)不適用于高精度的數(shù)值計(jì)算；神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)沒有嚴(yán)格確定的方法，一般都是憑經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)；神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程耗時(shí)較長，常常需要較長時(shí)間的脫機(jī)訓(xùn)練；不適合有實(shí)時(shí)性處理要求的場合；當(dāng)訓(xùn)練樣本發(fā)生變化時(shí)，必須對全部訓(xùn)練樣本進(jìn)行重新訓(xùn)練；硬件限制：真正的神經(jīng)網(wǎng)絡(luò)芯片和相應(yīng)硬件還沒有得到突破。105神經(jīng)網(wǎng)絡(luò)模擬神經(jīng)網(wǎng)絡(luò)的工作過程2.6神經(jīng)網(wǎng)絡(luò)模擬與工作方式106神經(jīng)網(wǎng)絡(luò)模擬，就是指人工神經(jīng)網(wǎng)絡(luò)如何模擬人腦的組織方式和信息處理機(jī)制；簡單說，就是人工神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)方法；神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元相互連接構(gòu)成的，每一個(gè)神經(jīng)元都完成基本相同的任務(wù)；可以認(rèn)為，神經(jīng)元及其連接就是神經(jīng)網(wǎng)絡(luò)的“硬件”，各神經(jīng)元之間的連接權(quán)系數(shù)和閾值就是神經(jīng)網(wǎng)絡(luò)的“軟件”；如果能夠按照預(yù)期的算法來修正權(quán)系數(shù)和閾值，則就構(gòu)成了一個(gè)學(xué)習(xí)機(jī)制；神經(jīng)網(wǎng)絡(luò)模擬107確定網(wǎng)絡(luò)的拓樸結(jié)構(gòu)；確定活化函數(shù)；確定網(wǎng)絡(luò)的輸入；確定神經(jīng)元的輸出；確定工作方式；神經(jīng)網(wǎng)絡(luò)模擬包括：108確定網(wǎng)絡(luò)的拓樸結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)有許多模型，不同的神經(jīng)網(wǎng)絡(luò)模型有其擅長的信息處理能力，而每種模型的信息處理能力又有其技術(shù)限制，不能適合于所有的問題。因此，應(yīng)用神經(jīng)網(wǎng)絡(luò)求解問題，必須在熟悉本領(lǐng)域應(yīng)用特點(diǎn)的基礎(chǔ)上，理解各種神經(jīng)網(wǎng)絡(luò)的能力與限制，然后選擇適合具體應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型，達(dá)到最高性能的實(shí)現(xiàn)。網(wǎng)絡(luò)的拓樸結(jié)構(gòu)與實(shí)際問題密切相關(guān)109確定活化函數(shù)按照神經(jīng)元的一般理論模型，神經(jīng)元的狀態(tài)與其過去的狀態(tài)和當(dāng)前的輸入有關(guān)；其關(guān)系可以用活化函數(shù)來確定；一般情況下，神經(jīng)元的活化函數(shù)都采用恒等函數(shù)；即：當(dāng)然，還可以是其它形式的函數(shù)。110確定網(wǎng)絡(luò)的輸入首先，要確定網(wǎng)絡(luò)輸入層神經(jīng)元的數(shù)量，即網(wǎng)絡(luò)接收多少維的輸入信號；考慮每個(gè)輸入模式的數(shù)據(jù)類型和值域；是離散型還是連續(xù)型？輸入模式是否要進(jìn)行預(yù)處理？是否要編碼？選擇適當(dāng)?shù)挠?xùn)練樣本；111確定神經(jīng)元的輸出神經(jīng)元之間的相互作用是通過把有關(guān)信號傳遞到其它神經(jīng)元上來實(shí)現(xiàn)；對每一個(gè)神經(jīng)元，其狀態(tài)決定了其輸出值輸出函數(shù)可以選擇六種類型中的任一種，要考慮實(shí)際應(yīng)用情況；還有確定神經(jīng)網(wǎng)絡(luò)的輸出神經(jīng)元的數(shù)量；以及輸出神經(jīng)元是否要編碼等；考慮訓(xùn)練樣本的期望輸出等；112確定網(wǎng)絡(luò)的工作方式同步方式所有神經(jīng)元都把上一步所得的輸出值當(dāng)作輸入，所有的神經(jīng)元都同時(shí)工作；網(wǎng)絡(luò)的狀態(tài)是對所有神經(jīng)元同時(shí)修改的結(jié)果，模擬計(jì)算的順序并不重要；異步工作方式每一步都以某種順序修改其中一個(gè)神經(jīng)元的狀態(tài)；新輸出值馬上傳送到其它神經(jīng)元，以便調(diào)整整個(gè)網(wǎng)絡(luò)的狀態(tài)；模擬計(jì)算的順序時(shí)很重要的。113兩個(gè)階段工作期各連接權(quán)系數(shù)固定，計(jì)算神經(jīng)元的狀態(tài)變化，以求達(dá)到穩(wěn)定狀態(tài)；給定的輸入產(chǎn)生給定的輸出；學(xué)習(xí)期輸入輸出保持不變，修正神經(jīng)元之間的連接權(quán)系數(shù)；神經(jīng)網(wǎng)絡(luò)工作過程114兩個(gè)記憶短期記憶在工作期，各神經(jīng)元的狀態(tài)變化很快，各單元的狀態(tài)稱為短期記憶；STM（ShortTermMemory）長期記憶在學(xué)習(xí)期，各神經(jīng)元的狀態(tài)變化很慢，此時(shí)，權(quán)及連接方式稱為長期記憶；LTM（LongTermmemory）115學(xué)習(xí)的一般概念通過樣本進(jìn)行學(xué)習(xí)Hebb學(xué)習(xí)規(guī)則其它學(xué)習(xí)規(guī)則2.7神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理116學(xué)習(xí)概念是來自生物模型；學(xué)習(xí)是生物體早期復(fù)雜多變的環(huán)境中進(jìn)行有效的自我調(diào)節(jié)；對于一個(gè)系統(tǒng)來說，學(xué)習(xí)就是當(dāng)外界環(huán)境發(fā)生變化時(shí)，在經(jīng)過一段時(shí)間之后，系統(tǒng)能改善自己的性能，則稱該系統(tǒng)在這段時(shí)間內(nèi)進(jìn)行了學(xué)習(xí)；人工神經(jīng)網(wǎng)絡(luò)具類似于人腦的學(xué)習(xí)特性。學(xué)習(xí)的一般概念117在構(gòu)造出一個(gè)神經(jīng)網(wǎng)絡(luò)后，神經(jīng)元的活化規(guī)則和輸出規(guī)則就確定了；從公式可以得出，若想改變系統(tǒng)的輸出值，但又不能在學(xué)習(xí)過程改變，則只能改變加權(quán)求和的輸入；神經(jīng)網(wǎng)絡(luò)是如何進(jìn)行學(xué)習(xí)的呢？118神經(jīng)元不能控制輸入模式，它是對環(huán)境作出反映而不是產(chǎn)生環(huán)境；因此，要改變加權(quán)求和的輸入，必須改變權(quán)系數(shù)；也就是說，網(wǎng)絡(luò)的學(xué)習(xí)依賴于權(quán)系數(shù)的變化；（閾值也是可以學(xué)習(xí)的，可以歸納到權(quán)系數(shù)之中）；學(xué)習(xí)的數(shù)學(xué)表達(dá)119基于何種規(guī)則對神經(jīng)網(wǎng)絡(luò)的權(quán)系數(shù)進(jìn)行修改，就構(gòu)成了不同的學(xué)習(xí)規(guī)則，或者學(xué)習(xí)算法。也就是說，學(xué)習(xí)規(guī)則定義了對于給定的輸入產(chǎn)生期望輸出時(shí)如何修正權(quán)系數(shù)；神經(jīng)網(wǎng)絡(luò)的兩個(gè)工作期學(xué)習(xí)期執(zhí)行學(xué)習(xí)規(guī)則，修改權(quán)系數(shù)，使得輸入/輸出滿足一定的映射關(guān)系；工作期權(quán)系數(shù)固定，由給定的輸入產(chǎn)生一定的輸出；120學(xué)習(xí)與訓(xùn)練實(shí)質(zhì)都是修正權(quán)系數(shù)區(qū)別訓(xùn)練是指調(diào)節(jié)網(wǎng)絡(luò)權(quán)系數(shù)的操作動(dòng)作和過程；整個(gè)過程對于網(wǎng)絡(luò)來說就是學(xué)習(xí)例如舉辦一個(gè)訓(xùn)練班，對學(xué)生進(jìn)行某種技能的訓(xùn)練；對學(xué)生來說，他們在班內(nèi)學(xué)習(xí)；一般不必區(qū)分學(xué)習(xí)和訓(xùn)練121網(wǎng)絡(luò)學(xué)習(xí)必須要有訓(xùn)練樣本每個(gè)訓(xùn)練樣本加載到神經(jīng)網(wǎng)絡(luò)的輸入端（稱為輸入向量），在輸出端會(huì)產(chǎn)生一個(gè)輸出（稱為輸出向量）；學(xué)習(xí)（訓(xùn)練）就是相繼加入輸入向量，按照預(yù)定的學(xué)習(xí)規(guī)則修正權(quán)系數(shù)，使得學(xué)習(xí)結(jié)束后，權(quán)系數(shù)收斂于一個(gè)確定值，此時(shí)，每一個(gè)輸入向量都能產(chǎn)生一個(gè)期望的輸出向量，或者非常接近期望的輸出向量；122網(wǎng)絡(luò)學(xué)習(xí)兩種方式有指導(dǎo)的學(xué)習(xí)無指導(dǎo)的學(xué)習(xí)有指導(dǎo)的學(xué)習(xí)在學(xué)習(xí)過程中，不但需要輸入向量，而且需要與之對應(yīng)的輸出目標(biāo)向量；輸入向量和輸出向量稱為訓(xùn)練對；學(xué)習(xí)時(shí)，一般需要很多訓(xùn)練對；所有的訓(xùn)練對稱為訓(xùn)練組（訓(xùn)練樣本集合），123當(dāng)加入一個(gè)輸入向量時(shí)，計(jì)算網(wǎng)絡(luò)的實(shí)際輸出，并與相應(yīng)的輸出目標(biāo)向量比較，用其誤差來修正權(quán)系數(shù)；所有的訓(xùn)練樣本都相繼加入到網(wǎng)絡(luò)，計(jì)算誤差和修正權(quán)系數(shù)；當(dāng)所有的訓(xùn)練樣本都已經(jīng)用完，則從第一個(gè)訓(xùn)練樣本重新計(jì)算，直到對于所有的訓(xùn)練樣本，其輸出總誤差滿足我們的要求；一般情況下，訓(xùn)練樣本組是要反復(fù)循環(huán)加載到網(wǎng)絡(luò)進(jìn)行訓(xùn)練；124無指導(dǎo)的學(xué)習(xí)只有輸入向量，沒有對應(yīng)的輸出目標(biāo)向量；網(wǎng)絡(luò)通過自身來完成學(xué)習(xí)功能，即完成修正權(quán)系數(shù)的功能；如何完成？沒有輸出目標(biāo)向量，就沒有輸出誤差；修改權(quán)系數(shù)，使得輸出產(chǎn)生某種可理解的規(guī)律性；這種規(guī)律性可以通過某些統(tǒng)計(jì)特性來表示125例如：數(shù)據(jù)的分類通過輸出向量的位置，可以對給定的輸入樣本進(jìn)行分類。126幾種神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)方式有指導(dǎo)的學(xué)習(xí)二進(jìn)制輸入Hopfield網(wǎng)絡(luò)模型連續(xù)值輸入Perceptron、BP網(wǎng)絡(luò)模型無指導(dǎo)的學(xué)習(xí)二進(jìn)制輸入Grossberg的ART模型連續(xù)值輸入Kohonen自組織特征映射模型127通過樣本學(xué)習(xí)學(xué)習(xí)算法范例：學(xué)習(xí)的目標(biāo)：產(chǎn)生一個(gè)網(wǎng)絡(luò)，在給定的范例下，修正網(wǎng)絡(luò)的權(quán)系數(shù)（權(quán)值），使得該網(wǎng)絡(luò)實(shí)現(xiàn)映射128一般地，通過樣本學(xué)習(xí)可以表示為環(huán)境X概念學(xué)習(xí)過程假設(shè)訓(xùn)練樣本測試過程目標(biāo)129網(wǎng)絡(luò)輸入輸出存在映射網(wǎng)絡(luò)實(shí)際實(shí)現(xiàn)的映射訓(xùn)練樣本集目標(biāo)：例如：環(huán)境X： ｛一組圖畫｝ 概念： ｛是一顆樹或者不是樹｝ 假設(shè)： ｛識別樹的系統(tǒng)｝ 樣本：｛一些是樹的畫和不是樹的畫｝ 測試： ｛通過觀察典型圖片學(xué)習(xí)樹的概念｝130給出典型的是樹的圖畫和不是樹的圖畫讓系統(tǒng)進(jìn)行訓(xùn)練；構(gòu)造假設(shè)，使得當(dāng)輸入為時(shí)，輸出盡可能逼近；學(xué)習(xí)完成后，就獲得了假設(shè)，可以應(yīng)用去識別待識別的樣本；也即，當(dāng)輸入是樹的圖畫，假設(shè)能判斷是樹；當(dāng)輸入不是樹的圖畫，假設(shè)能判斷不是樹；131要學(xué)習(xí)的知識是，實(shí)際學(xué)習(xí)到的知識是是的良好近似；兩個(gè)參數(shù)度量最小訓(xùn)練樣本集最大識別誤差除了至多幅圖畫和最多次失敗外，都有

學(xué)習(xí)應(yīng)該盡可能使均?。灰话愣?，參數(shù)是相互矛盾的；132

Hebb學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則定義了由給定的輸入產(chǎn)生預(yù)期的輸出時(shí)如何修正權(quán)系數(shù)；Hebb學(xué)習(xí)規(guī)則的基本思想如果神經(jīng)元從接收一個(gè)輸入，而且兩個(gè)神經(jīng)元處于興奮狀態(tài)，則到之間的連接權(quán)系數(shù)將增強(qiáng)：是系數(shù)（又稱學(xué)習(xí)率），是神經(jīng)元的活化值（狀態(tài)）是神經(jīng)元的輸出133Hebbs學(xué)習(xí)規(guī)則的一般形式其中，是對神經(jīng)元的指導(dǎo)（期望）輸出都是隨著時(shí)間而變化的神經(jīng)元到的連接強(qiáng)度的改變量等于神經(jīng)元的活化值與其目標(biāo)輸入的函數(shù)乘以神經(jīng)元的輸出值和連接強(qiáng)度的函數(shù)注意：此處，函數(shù)和與活化函數(shù)和輸出函數(shù)沒有任何關(guān)系；134當(dāng)函數(shù)和取如下的形式則有，其中，此式就是最簡單的Hebb學(xué)習(xí)規(guī)則135當(dāng)函數(shù)和取如下的形式則有，其中，此式就是Wirdow-Hoff學(xué)習(xí)規(guī)則，又稱學(xué)習(xí)規(guī)則，是屬于有指導(dǎo)的學(xué)習(xí)方式，在感知器模型中采用。136當(dāng)函數(shù)和取如下的形式則有，其中，此式就是Grossberg學(xué)習(xí)規(guī)則，屬于無指導(dǎo)的學(xué)習(xí)方式，在Grossberg提出的ART模型中采用。137其它學(xué)習(xí)規(guī)則負(fù)梯度學(xué)習(xí)規(guī)則隨機(jī)學(xué)習(xí)規(guī)則Kohonen學(xué)習(xí)規(guī)則138負(fù)梯度學(xué)習(xí)規(guī)則使要求的輸出和實(shí)際輸出的誤差最?。淮藭r(shí)，連接權(quán)系數(shù)的變化量與誤差對權(quán)值的負(fù)梯度成正比，即誤差函數(shù)E可以有多種形式，常用的是實(shí)際輸出與期望輸出的均方誤差，也可以取其它形式BP網(wǎng)絡(luò)模型采用的就是負(fù)梯度學(xué)習(xí)規(guī)則；負(fù)梯度學(xué)習(xí)規(guī)則收斂速度較慢，且可能收斂到誤差函數(shù)的局部最小。139隨機(jī)學(xué)習(xí)規(guī)則隨機(jī)學(xué)習(xí)規(guī)則利用了隨機(jī)過程的概率和能量函數(shù)之間的關(guān)系來修正權(quán)系數(shù)；思路：隨機(jī)改變一個(gè)權(quán)值，確認(rèn)權(quán)值改變后的能量函數(shù)，并按照以下準(zhǔn)則確認(rèn)：若神經(jīng)網(wǎng)絡(luò)的能量降低了，則保留此變化；若神經(jīng)網(wǎng)絡(luò)的能量沒有降低，則根據(jù)預(yù)先選定的概率來決定是否保留此變化；接收能量函數(shù)增加的權(quán)值改變，有可能使網(wǎng)絡(luò)的性能變壞，但從總的效果來看，卻可能使神經(jīng)網(wǎng)絡(luò)獲得最佳效果；模擬退火算法（SimulatedAnnealing）屬于此類。140

Kohonen學(xué)習(xí)規(guī)則Kohonen學(xué)習(xí)規(guī)則是芬蘭科學(xué)家Kohonen提出的；屬于無指導(dǎo)的學(xué)習(xí)方式；在學(xué)習(xí)過程中，神經(jīng)元均參與競爭，具有最大值的神經(jīng)元是獲勝者，只有獲勝者才允許輸出，同時(shí)，能激活其附近區(qū)域的神經(jīng)元，在該區(qū)域內(nèi)的神經(jīng)元的權(quán)系數(shù)才能修正；該獲勝神經(jīng)元具有抑制其它神經(jīng)元的能力，其它神經(jīng)元的權(quán)系數(shù)保持不變；區(qū)域大小是可變的，一般開始時(shí)較大，然后越來越小，直到最