基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則

1、基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 人工神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)規(guī)則人工神經(jīng)網(wǎng)絡(luò)常用的學(xué)習(xí)規(guī)則 lMP模型是于1943年由美國心理學(xué)家 McCullochPitts建立的第一個(gè)神經(jīng)元模型， 也可以稱為處理單元(Processing Element)， 它是一個(gè)多輸入多輸出的非線性信息處 理單元。如圖5-6所示，圖5-7為MP模型的 作用函數(shù)。MP神經(jīng)元是人工神經(jīng)元模型的 基礎(chǔ)，也是人工神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 圖5-6 MP神經(jīng)元模型 )( i xf i 0 1 (x) F(x) 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l人類具有學(xué)習(xí)能力，人類的知識和智慧是 在不斷的學(xué)習(xí)

2、與實(shí)踐中逐漸形成和發(fā)展起 來的。關(guān)于人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機(jī)制，涉 及到神經(jīng)元如何分布、處理和存儲信息。 常用的人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則如下，圖5-8 是權(quán)值調(diào)整的一般情況，其中：Wj為聯(lián)接 到神經(jīng)元j的權(quán)值向量，X為輸入向量，r為 學(xué)習(xí)信號，d為導(dǎo)師信號。權(quán)向量的調(diào)整準(zhǔn) 則為 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l式中 為學(xué)習(xí)速率。權(quán)值調(diào)整的迭代格式為 )()(),(),()(tXtdtXtWrtW jjj )()(),(),()() 1(tXtdtXtWrtWtW jjjj 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 權(quán)值調(diào)整的一般情況 w X r(w,x,d) dj 信號生成器 Oj j wj X 基礎(chǔ)

3、知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 1)Hebbian學(xué)習(xí)規(guī)則 l 1949年，心理學(xué)家D.O.Hebb最早提出了關(guān)于神 經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的“突觸修正”的假設(shè)。該假設(shè) 指出，當(dāng)神經(jīng)元的突觸前膜電位與后膜電位同時(shí) 為正時(shí)，突觸傳導(dǎo)增強(qiáng)，當(dāng)前膜電位與后膜電位 正負(fù)相反時(shí)，突觸傳導(dǎo)減弱，也就是說，當(dāng)神經(jīng) 元i與神經(jīng)元j同時(shí)處于興奮狀態(tài)時(shí)，兩者之間的連 接強(qiáng)度應(yīng)增強(qiáng)。根據(jù)該假設(shè)定義的權(quán)值調(diào)整方法， 稱為Hebbian學(xué)習(xí)規(guī)則。在Hebbian學(xué)習(xí)規(guī)則中， 學(xué)習(xí)信號簡單地等于神經(jīng)元的輸出 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l式中 W為權(quán)向量，X為輸入向量。權(quán)向量的 調(diào)整公式為 XWfr T j XXWfW

4、T jj 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 權(quán)向量中，每個(gè)分量的調(diào)整由下式確定 l 上式表明，權(quán)值調(diào)整量與輸入輸出的乘積成正比。 顯然，經(jīng)常出現(xiàn)的輸入模式將對權(quán)向量有最大的 影響。在這種情況下，Hebbian學(xué)習(xí)規(guī)則需預(yù)先 設(shè)置權(quán)飽和值，以防止輸入和輸出正負(fù)始終一致 時(shí)出現(xiàn)權(quán)值無約束增長。此外，要求權(quán)值初始化， 即在學(xué)習(xí)開始前 (t=0)，先對Wj(0)賦予零附近的 小隨機(jī)數(shù)。Hebbian學(xué)習(xí)規(guī)則代表一種純前饋、 無導(dǎo)師學(xué)習(xí)。該規(guī)則至今仍在各種神經(jīng)網(wǎng)絡(luò)模型 中起著重要作用。 iji T jij xoxXWf 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 2)Perceptron（感知器）學(xué)習(xí)規(guī)則 l

5、1958年，美國學(xué)者Frank Rosenblatt首次定 義了一個(gè)具有單層計(jì)算單元的神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)，稱為感知器(Perceptron)。感知器的學(xué) 習(xí)規(guī)則規(guī)定，學(xué)習(xí)信號等于神經(jīng)元期望輸 出（教師信號）與實(shí)際輸出之差 jj odr 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l式中 為期望的輸出 ，。 感知 器采用了與閾值轉(zhuǎn)移函數(shù)類似的符號轉(zhuǎn)移 函數(shù)，其表達(dá)為 WWfo T jj j d 0, 1 0, 1 sgn XW XW XWXWf T j T T j T j j 因此，權(quán)值調(diào)整公式應(yīng)為XXWdW T jjj sgn nixXWd i T jjij , 1 , 0sgn 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常

6、用學(xué)習(xí)規(guī)則 l 式中，當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要 調(diào)整；在有誤差存在情況下，由 于 、 ， l 權(quán)值調(diào)整公式簡化為 l 感器學(xué)習(xí)規(guī)則只適用于二進(jìn)制神經(jīng)元，初始權(quán)值 可取任意值。 l 感知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)。由于感知 器理論是研究其他神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，該規(guī)則對于 神經(jīng)網(wǎng)絡(luò)的有導(dǎo)師學(xué)習(xí)具有極為重要的意義。 1,1sgnXW T j XWj2 j d 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l3)(Delta)學(xué)習(xí)規(guī)則 l1986年，認(rèn)知心理學(xué)家McClelland和 Rumelhart在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中引入了規(guī)則， 該規(guī)則亦可稱為連續(xù)感知器學(xué)習(xí)規(guī)則，與 上述離散感知器學(xué)習(xí)規(guī)則并行。規(guī)則

7、的學(xué) 習(xí)信號規(guī)定為 jjj T j T jj netfodWWfWWfdr 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l上式定義的學(xué)習(xí)信號稱為。式中是轉(zhuǎn)移函 數(shù)的導(dǎo)數(shù)。顯然，規(guī)則要求轉(zhuǎn)移函數(shù)可導(dǎo)， 因此只適用于有導(dǎo)師學(xué)習(xí)中定義的連續(xù)轉(zhuǎn) 移函數(shù)，如Sigmoid函數(shù)。 l事實(shí)上，規(guī)則很容易由輸出值與期望值的 最小平方誤差條件推導(dǎo)出來。定義神經(jīng)元 輸出與期望輸出之間的平方誤差為 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l式中，誤差E是權(quán)向量Wj的函數(shù)。欲使誤差 E最小，Wj應(yīng)與誤差的負(fù)梯度成正比，即 l式中，比例系數(shù)是一個(gè)正常數(shù)。由式(5- 12)，誤差梯度為 2 2 2 1 2 1 XWfdodE T j

8、jjj EW j XentfodE jjj 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l可以看出，上式中與X之間的部分正是式 (5-11)中定義的學(xué)習(xí)信號。Wj中每個(gè)分 量的調(diào)整由下式計(jì)算 l學(xué)習(xí)規(guī)則可推廣到多層前饋網(wǎng)絡(luò)中，權(quán)值 可初始化為任意值。 nixnetfod ijjjij , 1 , 0 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l4)Widrow-Hoff學(xué)習(xí)規(guī)則 l1962年，Bernard Widrow和Marcian Hoff 提出了Widrow-Hoff學(xué)習(xí)規(guī)則，又稱為最小 均方規(guī)則(LMS)。Widrow-Hoff學(xué)習(xí)規(guī)則的 學(xué)習(xí)信號為 XWdr T j 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)

9、習(xí)規(guī)則 l權(quán)向量調(diào)整量為. l的各分量為 l實(shí)際上，如果在學(xué)習(xí)規(guī)則中假定社會元轉(zhuǎn) 移函數(shù)為 ，則有， 此時(shí) 式(5-11)與式(5-17)相同。 XXWdW T jj nixXWd i T jjij , 1 , 0 XWXWf T j T j 1XWf T j 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l因此，Widrow-Hoff學(xué)習(xí)規(guī)則可以看成是學(xué) 習(xí)規(guī)則的一個(gè)特殊情況。該學(xué)習(xí)規(guī)則與神 經(jīng)元采用的轉(zhuǎn)移函數(shù)無關(guān)，因而不需要對 轉(zhuǎn)移函數(shù)求導(dǎo)數(shù)，不僅學(xué)習(xí)速度較快，而 且具有較高的精度。權(quán)值可初始化為任意 值。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l5) Correlation（相關(guān)）學(xué)習(xí)規(guī)則 l相關(guān)學(xué)

10、習(xí)規(guī)則學(xué)習(xí)信號為 l易得出分別為 j dr XdW jj nixd ijij , 1 , 0 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l該規(guī)則表明，當(dāng)dj是xi的期望輸出時(shí)，相應(yīng) 的權(quán)值增量ij與兩者的乘積djxi成正比。 l如果Hebbian學(xué)習(xí)規(guī)則中的轉(zhuǎn)移函數(shù)為二進(jìn) 制函數(shù)，且有oj=dj，則相關(guān)學(xué)習(xí)規(guī)則可看 作Hebbian規(guī)則的一種特殊情況。應(yīng)當(dāng)注意 的是，Hebbian學(xué)習(xí)規(guī)則是無導(dǎo)師學(xué)習(xí)，而 相關(guān)學(xué)習(xí)規(guī)則是有導(dǎo)師學(xué)習(xí)。這種學(xué)習(xí)規(guī) 則要求將權(quán)值初始化為零。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l6) Winner-Take-all（勝者為王）學(xué)習(xí)規(guī)則 lWinner-Take-all學(xué)習(xí)

11、規(guī)則是一種競爭學(xué)習(xí)規(guī) 則，用于無導(dǎo)師學(xué)習(xí)。一般將網(wǎng)絡(luò)的某一 層確定為競爭層，對于一個(gè)特定的輸入X， 競爭層的所有p個(gè)神經(jīng)元均有輸出響應(yīng)，其 中響應(yīng)值最大的神經(jīng)元為在競爭中獲勝的 神經(jīng)元，即 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào) 整量為 XWXW T i pi T m ,2, 1 max mm WXW 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l 式中，是學(xué)習(xí)常數(shù)，一般其值隨著學(xué)習(xí)的進(jìn)展 而減小。由于兩個(gè)向量的點(diǎn)積越大，表明兩者越 近似，所以調(diào)整獲勝神經(jīng)元權(quán)值的結(jié)果是使Wm 進(jìn)一步接近當(dāng)前輸入X。顯然，當(dāng)下次出現(xiàn)與X相 像的輸入模式時(shí)，上次獲勝的神經(jīng)元更容易獲勝。

12、 在反復(fù)的競爭學(xué)習(xí)過程中，競爭層的各神經(jīng)元所 對應(yīng)的權(quán)向量被逐漸調(diào)整為輸入樣本空間的聚類 中心。在有些應(yīng)用中，以獲勝神經(jīng)元為中心定義 一個(gè)獲勝領(lǐng)域，除獲勝神經(jīng)元調(diào)整權(quán)值外，領(lǐng)域 內(nèi)的其他神經(jīng)元也不同程度地調(diào)整權(quán)值。權(quán)值一 般被初始化為任意值并進(jìn)行歸一化處理。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l 7)Outstar（外星）學(xué)習(xí)規(guī)則 l 神經(jīng)網(wǎng)絡(luò)中有兩類常見節(jié)點(diǎn)，分別稱為內(nèi)星節(jié)點(diǎn) 和外星節(jié)點(diǎn)，其特點(diǎn)見圖5-8和5-9。圖5-8中的內(nèi) 星節(jié)點(diǎn)總是接受來自四面八方的輸入加權(quán)信號， 因此是信號的匯聚點(diǎn)，對應(yīng)的權(quán)值向量稱為內(nèi)星 權(quán)向量；圖5-9中的外星節(jié)點(diǎn)總是向四面八方發(fā)出 輸出加權(quán)信號，因此是信號的

13、發(fā)散點(diǎn)，對應(yīng)的權(quán) 值向量稱為外星權(quán)向量。內(nèi)星學(xué)習(xí)規(guī)則定內(nèi)星節(jié) 點(diǎn)的輸出響應(yīng)是輸入向量X和內(nèi)星權(quán)向量Wj的點(diǎn) 積。該點(diǎn)積反映了X與Wj的相似程度，其權(quán)值按 式(5-23)調(diào)整。因此Winner-Take-All學(xué)習(xí)規(guī)則與 內(nèi)星規(guī)則一致。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l下面介紹外星學(xué)習(xí)規(guī)則。外星學(xué)習(xí)規(guī)則屬 于有導(dǎo)師學(xué)習(xí)，其目的是為了生成一個(gè)期 望的維輸出向量，設(shè)對應(yīng)的外星權(quán)向量用 Wj表示，學(xué)習(xí)規(guī)則如下 )( jj WdW 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l式中，的規(guī)定與作用與式(5-23)中的相同， 給出的外星學(xué)習(xí)規(guī)則使節(jié)點(diǎn)j對應(yīng)的外星權(quán) 向量向期望輸出向量d靠近。 WijWnj W

14、1j j WijWnj W1j j 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 2.4神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 表2.1 常用學(xué)習(xí)規(guī)則一覽表 權(quán)值調(diào)整 學(xué)習(xí)規(guī)則 向量式元素式 權(quán) 值 初始化 學(xué)習(xí)方式轉(zhuǎn)移函數(shù) HebbianXXWW)( T jj f i )(xfw T jij XW0無導(dǎo)師任意 PerceptronXXWW)( T jjj sgn-d i )(xsgn-dw T jjij XW 任意有導(dǎo)師二進(jìn)制 Delta XW)()( jjjj netf-od ijjjij xnetf-odw)()( 任意有導(dǎo)師連續(xù) Widrow-HoffXXWW)( T jjj -d i T jjij x-dw

15、)(XW 任意有導(dǎo)師任意 相關(guān) XW jj d ijij xdw 0有導(dǎo)師任意 Winner-take- all )( mm WXW)( iimm wx W 隨機(jī)、歸 一化 無導(dǎo)師連續(xù) Outstar )( jj WdW)( kjkkj wdw 0有導(dǎo)師連續(xù) 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l 人工神經(jīng)網(wǎng)絡(luò)是由人工神經(jīng)元（簡稱神經(jīng)元）互 聯(lián)組成的網(wǎng)絡(luò)，它是從微觀結(jié)構(gòu)和功能上對人腦 的抽象、簡化，是模擬人類智能的一條重要途徑， 反映了人腦功能的若干基本特征，如并行信息處 理、學(xué)習(xí)、聯(lián)想、模式分類、記憶等。目前，已 發(fā)展了幾十種神經(jīng)網(wǎng)絡(luò)，例如Hopfield模型， Feldmann等的連接型網(wǎng)

16、絡(luò)模型，Hinton等的玻爾 茨曼機(jī)模型，以及Rumelhart等的多層感知機(jī)模型 和Kohonen的自組織網(wǎng)絡(luò)模型等等。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l在這眾多神經(jīng)網(wǎng)絡(luò)模型中，應(yīng)用最廣泛的 是多層感知機(jī)神經(jīng)網(wǎng)絡(luò)。多層感知機(jī)神經(jīng) 網(wǎng)絡(luò)的研究始于20世紀(jì)50年代，但一直進(jìn) 展不大。直到1985年，Rumelhart等人提出 了誤差反向傳遞學(xué)習(xí)算法（即BP算法）， 實(shí)現(xiàn)了Minsky的多層網(wǎng)絡(luò)設(shè)想。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l神經(jīng)網(wǎng)絡(luò)對控制領(lǐng)域和反問題研究有吸引 力的特征表現(xiàn)在：(1)能逼近任意L2上的非 線性函數(shù)；(2)信息的并行分布式處理與存 儲；(3)可以多輸入、多輸出；

17、(4)便于用超 大規(guī)模集成電路(VLSI)或光學(xué)集成電路系統(tǒng) 實(shí)現(xiàn)，或用現(xiàn)有的計(jì)算機(jī)技術(shù)實(shí)現(xiàn)；(5)能 進(jìn)行學(xué)習(xí)，以適應(yīng)環(huán)境的變化。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l決定網(wǎng)絡(luò)整體性能的三大要素包括：(1)神 經(jīng)元（信息處理單元）的特性；(2)神經(jīng)元 間相互聯(lián)接的形式拓?fù)浣Y(jié)構(gòu)；(3)為適應(yīng) 環(huán)境而改善性能的學(xué)習(xí)規(guī)則。表5-1為對神 經(jīng)網(wǎng)絡(luò)發(fā)展有重要影響的神經(jīng)網(wǎng)絡(luò) 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l 神經(jīng)網(wǎng)絡(luò)通過相繼給網(wǎng)絡(luò)輸入一些樣本模式，并 按照一定的規(guī)則（或?qū)W習(xí)算法）不斷改變網(wǎng)絡(luò)各 層的連接權(quán)值，使網(wǎng)絡(luò)的輸出不斷地接近期望的 輸出值，這一個(gè)過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練。 學(xué)習(xí)的實(shí)質(zhì)是

18、可變權(quán)值的動態(tài)調(diào)整的自適應(yīng)過程。 改變權(quán)值的規(guī)則稱為學(xué)習(xí)規(guī)則或?qū)W習(xí)算法（相應(yīng) 也稱訓(xùn)練規(guī)則或訓(xùn)練算法）。單個(gè)處理單元，無 論采用哪一種學(xué)習(xí)規(guī)則進(jìn)行調(diào)整，其算法都十分 簡單。大量處理單元集體進(jìn)行權(quán)值調(diào)整時(shí)，網(wǎng)絡(luò) 就呈現(xiàn)出“智能”的特性。 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和功能不同，學(xué)習(xí)方法也各 不相同。在人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和轉(zhuǎn)移函 數(shù)決定以后，如何設(shè)計(jì)權(quán)使網(wǎng)絡(luò)達(dá)到一定 的要求，就成為決定神經(jīng)網(wǎng)絡(luò)信息處理性 能的第三大要素。學(xué)習(xí)問題歸根結(jié)底就是 網(wǎng)絡(luò)連接權(quán)的調(diào)整問題，其方法有以下幾 種： 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 名稱提出者年代典型應(yīng)用領(lǐng)域局限性特點(diǎn) Perceptro

19、n(感感 知器知器) Frank Rosenblatt(康康 奈爾大學(xué)奈爾大學(xué)) 1958文字識別、聲音文字識別、聲音 識別、聲納識別、聲納 信號識別、信號識別、 學(xué)習(xí)記憶問學(xué)習(xí)記憶問 題研究題研究 不能識別識別復(fù)不能識別識別復(fù) 雜字符，對雜字符，對 字的大小、字的大小、 平移和傾斜平移和傾斜 敏感敏感 最早的神經(jīng)網(wǎng)絡(luò)，已最早的神經(jīng)網(wǎng)絡(luò)，已 很少應(yīng)用；有學(xué)很少應(yīng)用；有學(xué) 習(xí)能力，只能進(jìn)習(xí)能力，只能進(jìn) 行線形分類行線形分類 Adaline(自適應(yīng)自適應(yīng) 線形單元線形單元) 和和 Madaline (多個(gè)多個(gè) Adaline的的 組合網(wǎng)絡(luò)組合網(wǎng)絡(luò)) Bernard Widrow(斯斯 坦福大學(xué)坦福

20、大學(xué)) 1960 1962 雷達(dá)天線控制雷達(dá)天線控制,自自 適應(yīng)回波抵適應(yīng)回波抵 消，適應(yīng)性消，適應(yīng)性 調(diào)制解調(diào)，調(diào)制解調(diào)， 電話線中適電話線中適 應(yīng)性補(bǔ)償?shù)葢?yīng)性補(bǔ)償?shù)?要求輸入要求輸入-輸出之輸出之 間為線性關(guān)間為線性關(guān) 系系 學(xué)習(xí)能力較強(qiáng)，較早學(xué)習(xí)能力較強(qiáng)，較早 開始商業(yè)應(yīng)用，開始商業(yè)應(yīng)用， Madaline是是 Adaline的功能的功能 擴(kuò)展擴(kuò)展 Avalanche(雪崩雪崩 網(wǎng)網(wǎng)) S.Drossberg(波士頓波士頓 大學(xué)大學(xué)) 1967連續(xù)語音識別，連續(xù)語音識別， 機(jī)器人手臂機(jī)器人手臂 運(yùn)動的教學(xué)運(yùn)動的教學(xué) 指令指令 不易改變運(yùn)動速不易改變運(yùn)動速 度和插入運(yùn)度和插入運(yùn) 動動 Ce

21、rellatron（?。ㄐ?腦自動機(jī)）腦自動機(jī)） D.Marr（麻省理工（麻省理工 學(xué)院）學(xué)院） 1969 19 82 控制機(jī)器人的手控制機(jī)器人的手 臂運(yùn)動臂運(yùn)動 需要復(fù)雜的控制需要復(fù)雜的控制 輸入輸入 類似于類似于Avalanche網(wǎng)網(wǎng) 絡(luò)，能調(diào)和各種絡(luò)，能調(diào)和各種 指令序列，按需指令序列，按需 要緩緩地插入動要緩緩地插入動 作作 Back Propagatio n(誤差反傳誤差反傳 網(wǎng)絡(luò)網(wǎng)絡(luò)) P.Werbos(哈佛大學(xué)哈佛大學(xué)) David umlhart(斯坦斯坦 福大學(xué)福大學(xué))James MeClelland(斯斯 坦福大學(xué)坦福大學(xué)) 1974 19 85 語音識別，工業(yè)語音識別，工

22、業(yè) 過程控制，過程控制， 貸款信用評貸款信用評 估，股票預(yù)估，股票預(yù) 測，自適應(yīng)測，自適應(yīng) 控制等控制等 需要大量輸入需要大量輸入-輸輸 出數(shù)據(jù)，訓(xùn)出數(shù)據(jù)，訓(xùn) 練時(shí)間長，練時(shí)間長， 易陷入局部易陷入局部 極小極小 多層前饋網(wǎng)絡(luò)，采用多層前饋網(wǎng)絡(luò)，采用 最小均方差學(xué)習(xí)最小均方差學(xué)習(xí) 方式，是目前應(yīng)方式，是目前應(yīng) 用最廣泛的學(xué)習(xí)用最廣泛的學(xué)習(xí) 網(wǎng)絡(luò)網(wǎng)絡(luò) 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 Self-organizing feature map(自組織自組織 特征映射網(wǎng)特征映射網(wǎng) 絡(luò)絡(luò)) Tuevo Konhonen (芬蘭赫爾芬蘭赫爾 辛基技術(shù)辛基技術(shù) 大學(xué)大學(xué)) 1980語音識別，機(jī)器語音識別，

23、機(jī)器 人控制，工人控制，工 業(yè)過程控制，業(yè)過程控制， 圖像壓縮，圖像壓縮， 專家系統(tǒng)等專家系統(tǒng)等 模式類型數(shù)模式類型數(shù) 需預(yù)先知需預(yù)先知 道道 對輸入樣本自組織對輸入樣本自組織 聚類，可映射聚類，可映射 樣本空間的分樣本空間的分 布布 Hopfield網(wǎng)絡(luò)網(wǎng)絡(luò)John Hopfield (加州理工加州理工 學(xué)院學(xué)院) 1982求解求解TSP問題，問題， 線性規(guī)劃，線性規(guī)劃， 聯(lián)想記憶和聯(lián)想記憶和 用于辨識用于辨識 無學(xué)習(xí)能力，無學(xué)習(xí)能力， 連接要對連接要對 稱，權(quán)值稱，權(quán)值 要預(yù)先給要預(yù)先給 定定 單層自聯(lián)想網(wǎng)絡(luò)，單層自聯(lián)想網(wǎng)絡(luò)， 可從有缺陷和可從有缺陷和 有噪聲輸入中有噪聲輸入中 恢復(fù)完整信

24、息恢復(fù)完整信息 Boltzman machine(玻玻 爾茲曼機(jī)爾茲曼機(jī)) Cauchy machine( 柯西機(jī)柯西機(jī)) J.Hinton(多倫多倫 多大學(xué)多大學(xué)) T.Sejnowski( 霍爾金斯霍爾金斯 大學(xué)大學(xué)) 1985 19 86 圖像、聲納和雷圖像、聲納和雷 達(dá)等模式識達(dá)等模式識 別別 波爾茲曼機(jī)波爾茲曼機(jī) 訓(xùn)練時(shí)間訓(xùn)練時(shí)間 長，柯西長，柯西 機(jī)在某些機(jī)在某些 統(tǒng)計(jì)分布統(tǒng)計(jì)分布 下產(chǎn)生噪下產(chǎn)生噪 聲聲 采用隨機(jī)學(xué)習(xí)算法采用隨機(jī)學(xué)習(xí)算法 的網(wǎng)絡(luò)，可訓(xùn)的網(wǎng)絡(luò)，可訓(xùn) 練實(shí)現(xiàn)全局最練實(shí)現(xiàn)全局最 優(yōu)優(yōu) Bidirectional Associative Memory(BA M,雙向聯(lián)想雙

25、向聯(lián)想 記憶網(wǎng)記憶網(wǎng)) Bart Kosko(南南 加州大學(xué)加州大學(xué)) 1985 19 88 內(nèi)容尋址的聯(lián)想內(nèi)容尋址的聯(lián)想 記憶記憶 存儲的密度存儲的密度 低，數(shù)據(jù)低，數(shù)據(jù) 必須適應(yīng)必須適應(yīng) 編碼編碼 雙向聯(lián)想式單層網(wǎng)雙向聯(lián)想式單層網(wǎng) 絡(luò)，具有學(xué)習(xí)絡(luò)，具有學(xué)習(xí) 功能，簡單易功能，簡單易 學(xué)學(xué) Counter Propagation (CPN,雙向雙向 傳播網(wǎng)傳播網(wǎng)) Robert Hecht- Nielsen 1986神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)，神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)， 圖像分析和圖像分析和 統(tǒng)計(jì)分析統(tǒng)計(jì)分析 需要大量處需要大量處 理單元和理單元和 連接，需連接，需 要高度準(zhǔn)要高度準(zhǔn) 確確 一種在功能上作為一種在

26、功能上作為 統(tǒng)計(jì)最優(yōu)化和統(tǒng)計(jì)最優(yōu)化和 概率密度函數(shù)概率密度函數(shù) 分析的網(wǎng)絡(luò)分析的網(wǎng)絡(luò) 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 Adaptive Resonance Theory(自適應(yīng)共 振理論ART)有 ART1、ART2和 ART3 3種類型 G.Carpenter and S Grossberg(波 士頓大學(xué)) 1976 1990模式識別領(lǐng)域，擅長識 別復(fù)雜模式或未 知的模式 受平移、旋轉(zhuǎn)及尺 度的影響； 系統(tǒng)比較復(fù) 雜，難以用 硬件實(shí)現(xiàn) 可以對任意多和任意復(fù)雜的 二維模式進(jìn)行自組織 學(xué)習(xí)，ART1用于二 進(jìn)制，ART2用于連 續(xù)信號 Brain State in a Box(盒中 腦BSB

27、網(wǎng)絡(luò)) James Anderson（布 朗大學(xué)） 1977解釋概念形成，分類和 知識處理 只能作一次性決策， 無重復(fù)性共 振 具有最小均方差的單層自聯(lián) 想網(wǎng)絡(luò)，類似于雙向 聯(lián)想記憶，可對片段 輸入補(bǔ)全 Neocognition(新認(rèn)知機(jī))Fukushima K福島邦 彥(日本廣播協(xié) 會) 1978 1984手寫字母識別需要大量加工單元 和聯(lián)系 多層結(jié)構(gòu)化字符識別網(wǎng)絡(luò)， 與輸入模式的大小、 平移和旋轉(zhuǎn)無關(guān)，能 識別復(fù)雜字形 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l 圖5-1 有導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型圖 5-2 無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型 期望輸出 實(shí)際輸出 學(xué)習(xí)機(jī) 輸入 ANN 比較 實(shí)際輸出 學(xué)習(xí)機(jī) 輸入 ANN 自我比較 基礎(chǔ)知識續(xù)人工神經(jīng)網(wǎng)絡(luò)常用學(xué)習(xí)規(guī)則 l1)有導(dǎo)師學(xué)習(xí)(Supervised Learning,SL)， 在學(xué)習(xí)過程中，網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望 輸出的比較，進(jìn)行聯(lián)接權(quán)值的調(diào)整，將期 望輸出稱為導(dǎo)師信號，它是評價(jià)學(xué)習(xí)的標(biāo) 準(zhǔn)。這種學(xué)習(xí)模式采用糾錯的規(guī)則，學(xué)習(xí) 方法要在給出