《神經(jīng)網(wǎng)絡(luò)信號(hào)處理》精品PPT

1、神經(jīng)網(wǎng)絡(luò)信號(hào)處理8.1 神經(jīng)網(wǎng)絡(luò)模型8.2 多層前向網(wǎng)絡(luò)及其學(xué)習(xí)方法8.3 反饋網(wǎng)絡(luò)及其能量函數(shù)8.4 自組織神經(jīng)網(wǎng)絡(luò)8.5 神經(jīng)網(wǎng)絡(luò)在信號(hào)處理中的應(yīng)用第八章 神經(jīng)網(wǎng)絡(luò)信號(hào)處理 前面討論的最佳濾波、自適應(yīng)濾波和現(xiàn)代譜估計(jì)等都是在線性模型的前提下求最佳估計(jì)。但在實(shí)際中存在著大量的非線性模型問題，或者為題的數(shù)學(xué)模型往往很難建立或者不可能建立。人工神經(jīng)網(wǎng)絡(luò)是一種以自適應(yīng)為特征的、無固定模型的非線性網(wǎng)絡(luò)，可用于處理非線性模型為題或模型很難建立的問題。 下面僅在第一節(jié)簡(jiǎn)要介紹以生物學(xué)為基礎(chǔ)的簡(jiǎn)化的神經(jīng)元模型，而在其后章節(jié)中則是將神經(jīng)網(wǎng)絡(luò)作為信號(hào)處理的一種手段，不在追求網(wǎng)絡(luò)的生物學(xué)意義。8.1 神經(jīng)網(wǎng)絡(luò)模

2、型8.1.1 生物神經(jīng)元及其模型 生物的腦神經(jīng)系統(tǒng)通過感覺器官（視覺、嗅覺、味覺、觸覺）接收外界信息，在大腦中樞進(jìn)行加工，然后通過執(zhí)行器官向外輸出。從而構(gòu)成一個(gè)具有閉環(huán)控制系統(tǒng)特征的大規(guī)模系統(tǒng)。下圖顯示為神經(jīng)系統(tǒng)的信息流處理。 1943年，McCulloch和Pitts提出了一種高度簡(jiǎn)化的神經(jīng)元模型，簡(jiǎn)稱M-P模型。 設(shè)某一個(gè)神經(jīng)元具有 個(gè)輸入，各輸入信號(hào)的強(qiáng)度分別為 。神經(jīng)元的輸出為 。模型的激活規(guī)則可由離散時(shí)間的差分方程描述式中， 神經(jīng)元的輸入、輸出值為0或1。1代表神經(jīng)元的興奮狀態(tài)，0代表神經(jīng)元的靜止?fàn)顟B(tài)。 表示第 個(gè)輸入與神經(jīng)元的連接強(qiáng)度。 為神經(jīng)元的閥值。當(dāng)各輸入與其連接強(qiáng)度的加權(quán)和

3、 超過 時(shí)，神經(jīng)元進(jìn)入興奮狀態(tài)。 各種神經(jīng)元模型的結(jié)構(gòu)是相同的。都由一個(gè)處理節(jié)點(diǎn)和連接權(quán)（神經(jīng)鍵連接強(qiáng)度）組成，帶有一個(gè)輸出端，信號(hào)從輸入到輸出端單向傳輸。 各種神經(jīng)元模型的不同之處僅在于對(duì)處理節(jié)點(diǎn)中的傳遞函數(shù) 和激活函數(shù) 的數(shù)量描述不同。下圖為神經(jīng)元的一般模型及其符號(hào)。其中， ：輸入矢量； ：權(quán)矢量 神經(jīng)元可看成是一個(gè)多輸入、單輸出的非線性信號(hào)處理系統(tǒng)。其輸入輸出關(guān)系為：為方便起見，可將閾值 等效成一個(gè)恒定的輸入，其連接權(quán)為 ，即 ，這樣凈輸入寫成：這樣，設(shè) 為擴(kuò)展的輸入矢量和權(quán)矢量： 常用的變換函數(shù)有以下四種：階躍函數(shù)、線性限幅函數(shù)、S函數(shù)和隨機(jī)函數(shù)。 其中，階躍函數(shù)和S函數(shù)分別稱為離散型

4、的連接型的，它們可以是單極性的，也可以是雙極性的。階躍函數(shù)和S函數(shù)的表達(dá)式：階躍函數(shù)（離散型）：雙極性S型函數(shù)（連續(xù)型）：可見：8.1.2 人工神經(jīng)網(wǎng)絡(luò)模型 可以這樣定義人工神經(jīng)網(wǎng)絡(luò)：它是由許多個(gè)處理單元相互連接組成的信號(hào)處理系統(tǒng)。單元的輸出通過權(quán)值與其它單元（包括自身）相互連接，其中連接可以是延時(shí)的，也可以是無延時(shí)的。 可見，人工神經(jīng)網(wǎng)絡(luò)是由以上許多非線性系統(tǒng)組成的大規(guī)模系統(tǒng)。 處理單元的互連模式反映了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，按連接方式，網(wǎng)絡(luò)結(jié)構(gòu)主要分成兩大類：前向型和反饋型。 前向型常認(rèn)為是分層結(jié)構(gòu)，各神經(jīng)元接收前一級(jí)的輸入，并輸出到下一級(jí)。各層內(nèi)及層間都無反饋。：神經(jīng)元（1）上層下層輸入節(jié)點(diǎn)為第

5、一層神經(jīng)元，其余中間層為隱含層神經(jīng)元。輸出節(jié)點(diǎn)為最上層神經(jīng)元，但一般稱權(quán)值層為網(wǎng)絡(luò)的層，即網(wǎng)絡(luò)的第一層包括輸入節(jié)點(diǎn)層，第一隱含層以及它們之間的連接權(quán)。反饋型網(wǎng)絡(luò)可用一個(gè)完全無向圖表示：橫線相當(dāng)于雙箭頭下面是個(gè)簡(jiǎn)單的用神經(jīng)網(wǎng)絡(luò)作處理的例子： 如圖所示的單層前向網(wǎng)絡(luò)：由M個(gè)神經(jīng)元（單元）組成，接收N個(gè)輸入。 第 個(gè)輸入到第 個(gè)神經(jīng)元的連接權(quán)表示為 ，則有第個(gè)神經(jīng)元的輸出是 ，定義連接權(quán)矩陣 為： 引入一個(gè)非線性矩陣算子其中 為神經(jīng)元的變換函數(shù)，則網(wǎng)絡(luò)的輸出矢量可寫成： 可見，一個(gè)前向神經(jīng)網(wǎng)絡(luò)用來將一個(gè)N維輸入空間x映射到M維輸出空間y，或者說，將輸入模式映射成輸出模式。8.1.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方

6、式 前面的研究，主要是考察在給定神經(jīng)網(wǎng)絡(luò)（存儲(chǔ)在網(wǎng)格內(nèi)的模式（已知）的輸入X后得到的響應(yīng)y，這個(gè)計(jì)算過程常稱為神經(jīng)網(wǎng)絡(luò)的“回想”。現(xiàn)在要討論的是網(wǎng)絡(luò)存儲(chǔ)模式的設(shè)計(jì)，這是網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果。神經(jīng)網(wǎng)絡(luò)常用來解決難以用算法描述的問題，或者對(duì)處理的對(duì)象沒有充分的了解，需要作“盲處理”，而神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)是通過一些例子或某些準(zhǔn)則來訓(xùn)練，從方法上來說，神經(jīng)網(wǎng)絡(luò)信號(hào)處理以科學(xué)經(jīng)驗(yàn)主義替代了傳統(tǒng)的科學(xué)理性主義。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)一般依據(jù)兩種規(guī)則： 一種是基于自適應(yīng)LMS學(xué)習(xí)算法：即將誤差函數(shù)的負(fù)梯度作為網(wǎng)絡(luò)權(quán)值的調(diào)整量。 另一種是Hebb學(xué)習(xí)規(guī)則，它是基于心理學(xué)中的反射機(jī)理給出權(quán)值的調(diào)整量： Hebb規(guī)則的意義是：如果

7、兩個(gè)神經(jīng)元同時(shí)興奮，則它們之間的聯(lián)系得以增強(qiáng)。式中， 是第 個(gè)神經(jīng)元的輸入； 是第 個(gè)神經(jīng)元的輸出。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)從方式上分成以下三種情形： 固定權(quán)值計(jì)算 如果已知標(biāo)準(zhǔn)的輸入輸出模式，可以根據(jù)Hebb規(guī)則計(jì)算出網(wǎng)絡(luò)的權(quán)值矩陣W，對(duì)這樣的神經(jīng)網(wǎng)絡(luò)，要求容納足夠多的輸出模式，并且有一定的容錯(cuò)能力。 有導(dǎo)師學(xué)習(xí) 如果已知部分輸入輸出對(duì)樣本，則用這些輸入模式作為訓(xùn)練集，對(duì)應(yīng)的輸出模式作為導(dǎo)師信號(hào)，基于自適應(yīng)LMS算法，根據(jù)網(wǎng)絡(luò)對(duì)訓(xùn)練樣本的響應(yīng)與導(dǎo)師信號(hào)的差距來調(diào)整網(wǎng)絡(luò)的權(quán)值。 無導(dǎo)師學(xué)習(xí) 對(duì)于一些問題，既不知道輸出模式，又沒有導(dǎo)師的信號(hào)，則根據(jù)過去輸入模式的統(tǒng)計(jì)特性來訓(xùn)練網(wǎng)絡(luò)。這種學(xué)習(xí)方式表現(xiàn)了自組織

8、的特點(diǎn)。 無導(dǎo)師學(xué)習(xí)方式，可以是在線學(xué)習(xí)，如前面討論的自適應(yīng)Filter那樣，也可以邊學(xué)習(xí)邊工作。這時(shí)要求學(xué)習(xí)速度能跟上網(wǎng)絡(luò)處理速度。8.2 多層前向網(wǎng)絡(luò)及其學(xué)習(xí)算法 取神經(jīng)元的變換函數(shù)為雙極性階躍函數(shù)，稱這樣的處理單元為線性閾值值單元，其輸入輸出關(guān)系為 的線性方程 稱為分界函數(shù)。8.2.1 單層前向網(wǎng)絡(luò)的分類能力 由 個(gè)線性閾值單元并聯(lián)而成的單層前向網(wǎng)絡(luò)，是用 個(gè)線性分解函數(shù)將輸入空間 分割成若干個(gè)區(qū)域，每個(gè)區(qū)域?qū)?yīng)不同的輸出模式 。8.2.2 多層前向網(wǎng)絡(luò)的非線性映射能力 為了將單層前向網(wǎng)絡(luò)劃分的某個(gè)區(qū)域作為一類，可以將其輸出 進(jìn)行邏輯“與”運(yùn)算，用符號(hào) 表示。 只要第一隱層的神經(jīng)元足夠多

9、，則由線性閾值單元組成的三層前向網(wǎng)絡(luò)可以對(duì)任意形狀的非交的輸入矢量集合進(jìn)行正確分類，或者說實(shí)現(xiàn)任意離散非線性映射。實(shí)際上這種映射是用分段線性的分界函數(shù)逼近任意非線性分界函數(shù)。 線性閾值單元取變換函數(shù)為雙極性階躍函數(shù)時(shí)，稱為離散輸出模型。若變換函數(shù)為 函數(shù)，即為模擬狀態(tài)模型。可以證明，只要隱節(jié)點(diǎn)能自由設(shè)置，則兩層前向網(wǎng)絡(luò)可以逼近任何連續(xù)函數(shù) ，或者說實(shí)現(xiàn)任意連續(xù)型非線性映射 。8.2.3 權(quán)值計(jì)算矢量外積算法 對(duì)離散型單層前向網(wǎng)絡(luò)，若已確定了輸入矢量 和相應(yīng)的標(biāo)準(zhǔn)輸出矢量 ，用基于Hebb學(xué)習(xí)準(zhǔn)則的矢量外積法可計(jì)算出權(quán)值矩陣 ，即 若確定了 個(gè)標(biāo)準(zhǔn)輸入和輸出矢量 ，則取 ，這樣的設(shè)計(jì)的網(wǎng)絡(luò)具有恢

10、復(fù)和容錯(cuò)能力，網(wǎng)絡(luò)在恢復(fù)階段作內(nèi)積運(yùn)算。設(shè)標(biāo)準(zhǔn)輸入矢量是正交的歸一化矢量，即8.2.4 有導(dǎo)師學(xué)習(xí)法誤差修正法 用來訓(xùn)練網(wǎng)絡(luò)的輸入模式 稱為訓(xùn)練序列，它們對(duì)應(yīng)的正確響應(yīng) 稱為導(dǎo)師信號(hào)。根據(jù)網(wǎng)絡(luò)的實(shí)際響應(yīng) 與導(dǎo)師信號(hào)的誤差自適應(yīng)調(diào)整網(wǎng)絡(luò)的權(quán)矢量 ，稱為誤差修正法，即式中， 為迭代次數(shù)； 為修正量，與誤差 有關(guān)。1. 單個(gè)神經(jīng)元的學(xué)習(xí)算法單個(gè)神經(jīng)元的學(xué)習(xí)方法依變換函數(shù)不同而異。（1）線性單元的LMS算法（2）離散型單元的誤差修正法（3）連續(xù)型單元的LMS算法2. 多層前向網(wǎng)絡(luò)的學(xué)習(xí)算法（1）誤差反向傳播算法 算法中假設(shè)了輸出誤差作反向傳遞，所以稱為反向傳播法或稱BP算法。 BP算法是按均方誤差 的

11、梯度下降方向收斂的，但這個(gè)代價(jià)函數(shù)并不是二次的，而是更高次的。也就是說， 構(gòu)成的連接空間不是只有一個(gè)極小點(diǎn)的拋物面，而是存在許多局部極小點(diǎn)的超曲面。 BP算法收斂速度較慢，但對(duì)某些應(yīng)用而言，則希望有較快的收斂速度，也有一些加速方法。比如:集中權(quán)值調(diào)整。自適應(yīng)調(diào)整學(xué)習(xí)常數(shù)。權(quán)值調(diào)整量附加“慣性”項(xiàng)。（2）隨機(jī)學(xué)習(xí)算法 BP算法由于采用直接梯度下降，往往落入代價(jià)函數(shù) 的局部極小點(diǎn)。隨機(jī)算法則是用于尋找全局最小點(diǎn)，而是以最大概率達(dá)到全局最小點(diǎn)。 下面討論稱為模擬退火的隨機(jī)學(xué)習(xí)算法。模擬退火學(xué)習(xí)算法有四個(gè)步驟：產(chǎn)生新狀態(tài) ；計(jì)算新狀態(tài)的能量函數(shù) ；判斷是否接受新狀態(tài)；降低溫度 前向網(wǎng)絡(luò)可以用具體自組織

12、特性的無導(dǎo)師學(xué)習(xí)算法訓(xùn)練權(quán)值，然而，將前向網(wǎng)絡(luò)與反饋網(wǎng)絡(luò)組合在一起進(jìn)行無導(dǎo)師訓(xùn)練時(shí)，顯示出了更強(qiáng)的自組織處理能力。8.3 反饋網(wǎng)絡(luò)及其能量函數(shù)反饋網(wǎng)絡(luò)與線性IIR網(wǎng)絡(luò)一樣存在著穩(wěn)定性問題，本節(jié)先介紹動(dòng)態(tài)系統(tǒng)穩(wěn)定性的基本概念和分析方法，然后討論離散和連續(xù)型單層反饋網(wǎng)絡(luò)的動(dòng)態(tài)特性和網(wǎng)絡(luò)權(quán)值設(shè)計(jì)、復(fù)合型反饋網(wǎng)絡(luò)等問題，主要討論Hopfield網(wǎng)絡(luò)。8.3.1 非線性動(dòng)態(tài)系統(tǒng)的穩(wěn)定性 在期望輸出的模式設(shè)計(jì)成網(wǎng)絡(luò)的穩(wěn)定平衡態(tài)，存儲(chǔ)在權(quán)值中，這兩個(gè)吸引子都是孤立的點(diǎn)，稱為不動(dòng)吸引子。有些吸引子是同期循環(huán)的狀態(tài)序列，稱為極限環(huán)，猶如數(shù)字循環(huán)計(jì)數(shù)器的穩(wěn)定循環(huán)狀態(tài)。另外還有些更復(fù)雜的吸引子結(jié)構(gòu)。向某個(gè)吸引子演化

13、的所有初始狀態(tài)稱為這個(gè)吸引子的收斂域。一個(gè)非線性動(dòng)態(tài)系統(tǒng)是否存在吸引子，這些吸引子是否穩(wěn)定，這是首先要解決的問題。非線性動(dòng)態(tài)系統(tǒng)用非線性微分方程或非線性差分方程描述。而非線性方程的解不一定能容易求得。李雅普諾夫穩(wěn)定性理論提供了從方程本身來判斷吸引子的存在和穩(wěn)定的方法。李雅普諾夫定理簡(jiǎn)述如下： 考慮非線性微分方程組： ，寫成矢量形式為 ，它的解是時(shí)間t的函數(shù)，且與 初始值有關(guān)，記為 。當(dāng) 時(shí)，有 ，稱 為系統(tǒng)的平衡態(tài)。所謂穩(wěn)定性是考慮微分方程的解 是否趨向平衡態(tài)。 以孤立平衡點(diǎn) 附近的點(diǎn) 作為初始態(tài)，若系統(tǒng)的運(yùn)動(dòng)軌跡 仍在 附近，則稱平衡態(tài) 是穩(wěn)定的。嚴(yán)格的定義為：若對(duì)每個(gè)實(shí)數(shù) ，存在一實(shí)數(shù) ，

14、使得當(dāng)初始態(tài)滿足 時(shí)，系統(tǒng)運(yùn)動(dòng)軌跡滿足 ，則稱平衡態(tài) 在李雅普諾夫意義下是穩(wěn)定的。進(jìn)一步，若 ,就稱 是漸近穩(wěn)定的。系統(tǒng)的平衡點(diǎn) 是漸近穩(wěn)定的一個(gè)條件是：能找到一個(gè)X的連續(xù)函數(shù) ，使得稱 為李雅普諾夫函數(shù)。以下幾點(diǎn)需要注意：(1)物理上的能量函數(shù)一般可作為李雅普諾夫函數(shù)，因此，李雅普諾夫函數(shù)也稱為計(jì)算能量函數(shù)。一個(gè)物理系統(tǒng)總是在能量最低狀態(tài)下是最穩(wěn)定的。穩(wěn)定的非線性動(dòng)態(tài)系統(tǒng)也總是朝能量低的方向運(yùn)動(dòng)。實(shí)際上，作為能量函數(shù)，E可正可負(fù)，只要有下界且 即可。(2)對(duì)給定的動(dòng)態(tài)系統(tǒng)，其李雅譜諾夫函數(shù)不是唯一的。可以找到許多不同的李雅譜諾夫函數(shù)。(3)若找不到系統(tǒng)的李雅譜諾夫函數(shù)，并不說明系統(tǒng)不穩(wěn)定。(

15、4)還沒有統(tǒng)一的找李雅譜諾夫函數(shù)的辦法，一般是根據(jù)系統(tǒng)的物理意義或類似能量的概念寫出李雅譜諾夫函數(shù)。(5)對(duì)于離散時(shí)間非線性動(dòng)態(tài)系統(tǒng)，用非線性差分方程描述，也有計(jì)算能量函數(shù)的定理：只要找到一個(gè)有下界函數(shù) ,其增量 是非正的，即則該函數(shù)就是計(jì)算能量函數(shù)，且說明該離散動(dòng)態(tài)系統(tǒng)也朝著減小能量的方向運(yùn)動(dòng)，最后趨于穩(wěn)定平衡點(diǎn)，即有 。8.3.2 離散型Hopfield單層反饋網(wǎng)絡(luò) 離散型Hopfield單層反饋網(wǎng)絡(luò)的結(jié)構(gòu)如圖8.29所示，由n個(gè)神經(jīng)元組成， 為輸入， 為輸出， 為閥值， 。時(shí)延表現(xiàn)在圖中變換函數(shù)的狀態(tài)轉(zhuǎn)換的時(shí)序。這種網(wǎng)絡(luò)是離散時(shí)間、離散型變換函數(shù)網(wǎng)絡(luò)。1.網(wǎng)絡(luò)的差分方程描述 設(shè)第i個(gè)單元

16、的凈輸入為 ，有 式中，k為時(shí)間變量，變換涵數(shù)取雙極性階躍函數(shù)，即 網(wǎng)絡(luò)狀態(tài)的轉(zhuǎn)變有兩種方式：異步方式和同步方式。 (1)異步方式。在某一時(shí)刻k只允許一個(gè)單元更新輸出狀態(tài)，其余單元保持不變，則有(2)同步方式。在任何時(shí)刻，所有單元的狀態(tài)都同時(shí)更新，則有2.網(wǎng)絡(luò)的能量函數(shù) 定義計(jì)算能量函數(shù)E為： 由于 或-1，且設(shè)權(quán)值 、閥值 和輸入 都有界，則有 這意味著E有界。3.網(wǎng)絡(luò)的權(quán)值設(shè)計(jì) 考慮存儲(chǔ)L個(gè)樣本矢量 。注意到 用外積法設(shè)計(jì)權(quán)值矩陣W，并要置 ，則式中，是n階單位矩陣，權(quán)值為顯然，所以用時(shí)序工作方式，網(wǎng)絡(luò)是收斂、穩(wěn)定的；用并行工作方式，則要看樣本矢量是否能使W為非負(fù)定的，若能，則網(wǎng)絡(luò)是收斂、

17、穩(wěn)定的。8.3.3 連續(xù)型Hopfield單層反饋網(wǎng)絡(luò) 連續(xù)型Hopfield網(wǎng)絡(luò)與離散型Hopfield網(wǎng)絡(luò)的基本原理是一致的。但連續(xù)型網(wǎng)絡(luò)的輸入、輸出是模擬量，網(wǎng)絡(luò)采用并行方式，使得實(shí)時(shí)性更好。 網(wǎng)絡(luò)的結(jié)構(gòu)如圖8.30所示。圖中，運(yùn)算放大器的輸入/輸出特性為雙極性S函數(shù)。 為外加偏置電流，相當(dāng)于神經(jīng)元閥值 的作用； 為電導(dǎo)值，是i放大器與j放大器的反饋系數(shù)， ， 是反饋電阻， 是輸出電壓， ；電阻 和電容 并聯(lián)實(shí)現(xiàn)圖8.10中的時(shí)延 ，一般 是運(yùn)算放大器的輸入電阻， 為分布電容。1.網(wǎng)絡(luò)的微分方程描述和能量函數(shù) 設(shè)為第i個(gè)放大器輸入節(jié)點(diǎn)的電壓。根據(jù)基爾霍夫電流定律，放大器輸入節(jié)點(diǎn)的電流方程

18、為設(shè) ，則上式為放大器的輸入-輸出電壓關(guān)系為S函數(shù)定義能量函數(shù)E為式中， 是 的反函數(shù)，即 。2.網(wǎng)絡(luò)參數(shù)設(shè)計(jì) 連續(xù)型Hopfield網(wǎng)絡(luò)收斂于其能量函數(shù)的極小值，這使它能左優(yōu)化計(jì)算。因?yàn)閮?yōu)化問題就是求其某個(gè)代價(jià)函數(shù)或目標(biāo)函數(shù)的極小解。如維納濾波器就是使一個(gè)均誤差函數(shù)最小的最佳濾波器。對(duì)要求滿足一定約束條件的優(yōu)化問題，可以將約束條件包含于代價(jià)函數(shù)中，只要將優(yōu)化問題的代價(jià)函數(shù)J映射成網(wǎng)絡(luò)的能量函數(shù)E，就可以求出網(wǎng)絡(luò)參數(shù) 和 。注意，約束條件下優(yōu)化問題的代價(jià)函數(shù)一般有兩部分。一部分為代價(jià)函數(shù) ，其中Y為變量， 。另一部分為懲罰函數(shù) ，由約束條件決定。當(dāng)不滿足約束條件時(shí)， 值就大。這樣，代價(jià)函數(shù)便取

19、 。8.3.4 隨機(jī)型和復(fù)合型反饋網(wǎng)絡(luò)1.隨機(jī)型反饋網(wǎng)絡(luò) 隨機(jī)型反饋網(wǎng)絡(luò)與Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)相同，并且同樣是無自反饋的對(duì)稱網(wǎng)絡(luò)，即。區(qū)別僅在于隨機(jī)型反饋網(wǎng)絡(luò)每個(gè)單元的輸入-輸出變換函數(shù)不再是確定的，而是隨機(jī)的。輸出只取兩個(gè)狀態(tài)：0或1.(2)網(wǎng)絡(luò)的能量函數(shù)及其演化過程 能量函數(shù)為： 采取異步工作方式，每次只改變一個(gè)神經(jīng)元的狀態(tài)。設(shè)輸出由1狀態(tài)轉(zhuǎn)變?yōu)?狀態(tài)，系統(tǒng)的能量函數(shù)的差值為：2.復(fù)合型反饋網(wǎng)絡(luò)(1)網(wǎng)絡(luò)結(jié)構(gòu)及其穩(wěn)定性分析 如果在反饋網(wǎng)絡(luò)中，不是直接將輸出作為反饋信號(hào)，而是對(duì)輸出作一變換后，再作反饋信號(hào)，如圖8.37所示，圖中變換 用一個(gè)前向網(wǎng)絡(luò)實(shí)現(xiàn)，則這種復(fù)合反饋網(wǎng)絡(luò)的處理能力可增

20、強(qiáng)，但網(wǎng)絡(luò)的收斂性和穩(wěn)定性的證明更加困難。下面舉一個(gè)簡(jiǎn)單的情況：網(wǎng)絡(luò)電路圖如圖8.38所示，其中，圓圈代表連接強(qiáng)度、電阻值或電導(dǎo)值，設(shè) 為單調(diào)升函數(shù)，且對(duì)有界輸入 也有界，其中 。這種網(wǎng)絡(luò)可以是收斂的、穩(wěn)定的，稱為線性規(guī)劃神經(jīng)網(wǎng)絡(luò)。(2)網(wǎng)絡(luò)作優(yōu)化計(jì)算 復(fù)合反饋網(wǎng)絡(luò)可以求解數(shù)學(xué)線性規(guī)劃問題，求解信號(hào)處理中實(shí)數(shù)域的線性變換。 線性規(guī)劃問題可以利用如下代價(jià)函數(shù)和約束條件描述：式中， 用復(fù)合反饋網(wǎng)絡(luò)作數(shù)學(xué)計(jì)算的主要優(yōu)點(diǎn)是：高速實(shí)時(shí)計(jì)算；設(shè)計(jì)簡(jiǎn)單（一般都只需作直接映射）；一般情況下沒有局部極小點(diǎn)。后兩個(gè)優(yōu)點(diǎn)與單層反饋網(wǎng)絡(luò)相比尤為突出。8.4 自組織神經(jīng)網(wǎng)絡(luò) 人們觀察不同的事物時(shí)，會(huì)從不同的角度出發(fā)，提

21、取事物的不同特征。對(duì)于自組織網(wǎng)絡(luò)，針對(duì)的輸入數(shù)據(jù)不同，欲提取的特征就不同，學(xué)習(xí)算法也不同。通常有兩種無導(dǎo)師學(xué)習(xí)規(guī)則：Hebb規(guī)則和競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則。下面討論三種特征的自適應(yīng)提取： （1）依競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則進(jìn)行聚類，提取各類的中心； （2）依競(jìng)爭(zhēng)學(xué)習(xí)規(guī)則作特征映射，將輸入模式相似程度的大小映射成幾何位置的遠(yuǎn)近。 （3）依Hebb規(guī)則進(jìn)行主元分析，提取信號(hào)的最大主元。8.4.1 自組織聚類 聚類可理解為在無先驗(yàn)知識(shí)的情形下，把相似的對(duì)象歸為一類，并分開不相似的對(duì)象。聚類學(xué)習(xí)算法就是根據(jù)距離準(zhǔn)則，吧距離接近的樣本看作一類，并把該類的中心樣本存儲(chǔ)于網(wǎng)絡(luò)的鏈接權(quán)中，而網(wǎng)絡(luò)的輸出將是輸入模式與中心樣本的距離。1.

22、單層前向聚類網(wǎng)絡(luò)競(jìng)爭(zhēng)學(xué)習(xí) 單層線性前向網(wǎng)絡(luò)的神經(jīng)元的變換函數(shù)是線性的： 所以，每個(gè)單元的輸入-輸出關(guān)系為設(shè)有 個(gè)輸入學(xué)習(xí)模式 個(gè)單元可以將輸入模式聚為 類，輸出模式為2. 反饋型聚類網(wǎng)絡(luò)自適應(yīng)諧振學(xué)習(xí) 更合理的聚類應(yīng)該是在事先不知道類別數(shù)量的情形下，依競(jìng)爭(zhēng)的門限來學(xué)習(xí)。如果對(duì)一輸入樣本，網(wǎng)絡(luò)通過競(jìng)爭(zhēng)得知，該輸入模式與某一類聚點(diǎn)的距離最小，但其距離若超過一個(gè)預(yù)定門限值，扔不能將它歸為這一類，而應(yīng)另設(shè)一個(gè)新的類群?；谧赃m應(yīng)諧振理論的學(xué)習(xí)算法，就是這種既能識(shí)別舊對(duì)象同時(shí)又能識(shí)別新對(duì)象的方法。8.4.2 自組織特征映射 自組織特征映射網(wǎng)絡(luò)是將特征相似的輸入模式聚集在一起，不相似的分得比較開。下面討論

23、這種網(wǎng)絡(luò)的結(jié)構(gòu)和算法以及該網(wǎng)絡(luò)從輸入模式中提取的特征。網(wǎng)絡(luò)結(jié)構(gòu)及其算法 特征映射網(wǎng)絡(luò)與簡(jiǎn)單的聚類網(wǎng)絡(luò)一樣，是一個(gè)單層線性前向網(wǎng)絡(luò)，也是采用競(jìng)爭(zhēng)學(xué)習(xí)算法。在結(jié)構(gòu)上不同的只是網(wǎng)絡(luò)很在乎神經(jīng)元的幾何位置，一般排列成以為的直線或二維的平面。在競(jìng)爭(zhēng)學(xué)習(xí)算法上，主要的不同在于特征映射網(wǎng)絡(luò)不僅對(duì)獲勝元的連接權(quán)進(jìn)行修正，而且對(duì)獲勝元臨近單元的連接權(quán)也進(jìn)行修正。 自組織特征映射網(wǎng)絡(luò)在結(jié)構(gòu)上是一組自適應(yīng)線性組合器，而學(xué)習(xí)算法是直觀地確定的。實(shí)際上，它同樣可以采用自適應(yīng)濾波器的分析方法，根據(jù)最佳準(zhǔn)則給出一個(gè)性能曲面函數(shù)，由性能曲面函數(shù)的負(fù)梯度方向推導(dǎo)出自適應(yīng)學(xué)習(xí)算法。2. 網(wǎng)絡(luò)的有序特征映射能力 先考慮一維情形。設(shè)輸入是一維標(biāo)量，用 表示，神經(jīng)元排列成直線。用（0,1）之間均勻分布的隨機(jī)數(shù)來訓(xùn)練網(wǎng)絡(luò)。通過特征映射學(xué)習(xí)算法，經(jīng)過足夠多次迭代后，權(quán)系數(shù)就形成一個(gè)幅度遞增或遞減的有序序列，而且一旦成