第十九章神經(jīng)網(wǎng)絡(luò)模型

1、第十九章 神經(jīng)網(wǎng)絡(luò)模型§1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介人工神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上提出和發(fā)展起來(lái)的，旨在反映人腦結(jié)構(gòu)及功能的一種抽象數(shù)學(xué)模型。自1943年美國(guó)心理學(xué)家W. McCulloch和數(shù)學(xué)家W. Pitts提出形式神經(jīng)元的抽象數(shù)學(xué)模型MP模型以來(lái)，人工神經(jīng)網(wǎng)絡(luò)理論技術(shù)經(jīng)過(guò)了50多年曲折的發(fā)展。特別是20世紀(jì)80年代，人工神經(jīng)網(wǎng)絡(luò)的研究取得了重大進(jìn)展，有關(guān)的理論和方法已經(jīng)發(fā)展成一門(mén)界于物理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)和神經(jīng)生物學(xué)之間的交叉學(xué)科。它在模式識(shí)別，圖像處理，智能控制，組合優(yōu)化，金融預(yù)測(cè)與管理，通信，機(jī)器人以及專(zhuān)家系統(tǒng)等領(lǐng)域得到廣泛的應(yīng)用，提出了40多種神經(jīng)網(wǎng)絡(luò)模型，其中比較著名的有

2、感知機(jī)，Hopfield網(wǎng)絡(luò)，Boltzman機(jī)，自適應(yīng)共振理論及反向傳播網(wǎng)絡(luò)（BP）等。在這里我們僅討論最基本的網(wǎng)絡(luò)模型及其學(xué)習(xí)算法。1.1 人工神經(jīng)元模型下圖表示出了作為人工神經(jīng)網(wǎng)絡(luò)（artificial neural network，以下簡(jiǎn)稱(chēng)NN）的基本單元的神經(jīng)元模型，它有三個(gè)基本要素：（i）一組連接（對(duì)應(yīng)于生物神經(jīng)元的突觸），連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，為負(fù)表示抑制。（ii）一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和（線(xiàn)性組合）。（iii）一個(gè)非線(xiàn)性激活函數(shù)，起非線(xiàn)性映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)（一般限制在或之間）。此外還有一個(gè)閾值（或偏置）。以上作用

3、可分別以數(shù)學(xué)式表達(dá)出來(lái)： ， ， 式中為輸入信號(hào)，為神經(jīng)元之權(quán)值，為線(xiàn)性組合結(jié)果，為閾值，為激活函數(shù)，為神經(jīng)元的輸出。若把輸入的維數(shù)增加一維，則可把閾值包括進(jìn)去。例如 ，此處增加了一個(gè)新的連接，其輸入為（或），權(quán)值為（或），如下圖所示。激活函數(shù)可以有以下幾種:（i）閾值函數(shù) （1）即階梯函數(shù)。這時(shí)相應(yīng)的輸出為 其中，常稱(chēng)此種神經(jīng)元為模型。（ii）分段線(xiàn)性函數(shù) （2）它類(lèi)似于一個(gè)放大系數(shù)為1的非線(xiàn)性放大器，當(dāng)工作于線(xiàn)性區(qū)時(shí)它是一個(gè)線(xiàn)性組合器，放大系數(shù)趨于無(wú)窮大時(shí)變成一個(gè)閾值單元。（iii）sigmoid函數(shù)最常用的函數(shù)形式為 （3）參數(shù)可控制其斜率。另一種常用的是雙曲正切函數(shù) （4）這類(lèi)函數(shù)具有

4、平滑和漸近性，并保持單調(diào)性。Matlab中的激活（傳遞）函數(shù)如下表所示：函數(shù)名功 能purelin線(xiàn)性傳遞函數(shù)hardlim硬限幅遞函數(shù)hardlims對(duì)稱(chēng)硬限幅遞函數(shù)satlin飽和線(xiàn)性傳遞函數(shù)satlins對(duì)稱(chēng)飽和線(xiàn)性傳遞函數(shù)logsig對(duì)數(shù)S形傳遞函數(shù)tansig正切S形傳遞函數(shù)radbas徑向基傳遞函數(shù)compet競(jìng)爭(zhēng)層傳遞函數(shù)各個(gè)函數(shù)的定義及使用方法，可以參看Matlab的幫助（如在Matlab命令窗口運(yùn)行help tansig，可以看到tantig的使用方法，及tansig的定義為）。1.2 網(wǎng)絡(luò)結(jié)構(gòu)及工作方式除單元特性外，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也是NN的一個(gè)重要特性。從連接方式看NN主要

5、有兩種。（i）前饋型網(wǎng)絡(luò)各神經(jīng)元接受前一層的輸入，并輸出給下一層，沒(méi)有反饋。結(jié)點(diǎn)分為兩類(lèi)，即輸入單元和計(jì)算單元，每一計(jì)算單元可有任意個(gè)輸入，但只有一個(gè)輸出（它可耦合到任意多個(gè)其它結(jié)點(diǎn)作為其輸入）。通常前饋網(wǎng)絡(luò)可分為不同的層，第層的輸入只與第層輸出相連，輸入和輸出結(jié)點(diǎn)與外界相連，而其它中間層則稱(chēng)為隱層。（ii）反饋型網(wǎng)絡(luò)所有結(jié)點(diǎn)都是計(jì)算單元，同時(shí)也可接受輸入，并向外界輸出。NN的工作過(guò)程主要分為兩個(gè)階段：第一個(gè)階段是學(xué)習(xí)期，此時(shí)各計(jì)算單元狀態(tài)不變，各連線(xiàn)上的權(quán)值可通過(guò)學(xué)習(xí)來(lái)修改；第二階段是工作期，此時(shí)各連接權(quán)固定，計(jì)算單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀態(tài)。從作用效果看，前饋網(wǎng)絡(luò)主要是函數(shù)映射，可用于

6、模式識(shí)別和函數(shù)逼近。反饋網(wǎng)絡(luò)按對(duì)能量函數(shù)的極小點(diǎn)的利用來(lái)分類(lèi)有兩種：第一類(lèi)是能量函數(shù)的所有極小點(diǎn)都起作用，這一類(lèi)主要用作各種聯(lián)想存儲(chǔ)器；第二類(lèi)只利用全局極小點(diǎn)，它主要用于求解最優(yōu)化問(wèn)題。§2 蠓蟲(chóng)分類(lèi)問(wèn)題與多層前饋網(wǎng)絡(luò)2.1 蠓蟲(chóng)分類(lèi)問(wèn)題蠓蟲(chóng)分類(lèi)問(wèn)題可概括敘述如下：生物學(xué)家試圖對(duì)兩種蠓蟲(chóng)（Af與Apf）進(jìn)行鑒別，依據(jù)的資料是觸角和翅膀的長(zhǎng)度，已經(jīng)測(cè)得了9支Af和6支Apf的數(shù)據(jù)如下：Af: (1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，(1.48,1.82)，(1.54,1.82)，(1

7、.56,2.08).Apf: (1.14,1.82)，(1.18,1.96)，(1.20,1.86)，(1.26,2.00)，(1.28,2.00)，(1.30,1.96).現(xiàn)在的問(wèn)題是：（i）根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類(lèi)蠓蟲(chóng)。（ii）對(duì)觸角和翼長(zhǎng)分別為(1.24,1.80)，(1.28,1.84)與(1.40,2.04)的3個(gè)標(biāo)本，用所得到的方法加以識(shí)別。（iii）設(shè)Af是寶貴的傳粉益蟲(chóng)，Apf是某疾病的載體，是否應(yīng)該修改分類(lèi)方法。如上的問(wèn)題是有代表性的，它的特點(diǎn)是要求依據(jù)已知資料（9支Af的數(shù)據(jù)和6支Apf的數(shù)據(jù)）制定一種分類(lèi)方法，類(lèi)別是已經(jīng)給定的（Af或Apf）。今后，

8、我們將9支Af及6支Apf的數(shù)據(jù)集合稱(chēng)之為學(xué)習(xí)樣本。2.2 多層前饋網(wǎng)絡(luò)為解決上述問(wèn)題，考慮一個(gè)其結(jié)構(gòu)如下圖所示的人工神經(jīng)網(wǎng)絡(luò)，激活函數(shù)由來(lái)決定。圖中最下面單元，即由所示的一層稱(chēng)為輸入層，用以輸入已知測(cè)量值。在我們的例子中，它只需包括兩個(gè)單元，一個(gè)用以輸入觸角長(zhǎng)度，一個(gè)用以輸入翅膀長(zhǎng)度。中間一層稱(chēng)為處理層或隱單元層，單元個(gè)數(shù)適當(dāng)選取，對(duì)于它的選取方法，有一些文獻(xiàn)進(jìn)行了討論，但通過(guò)試驗(yàn)來(lái)決定，或許是最好的途徑。在我們的例子中，取三個(gè)就足夠了。最上面一層稱(chēng)為輸出層，在我們的例子中只包含二個(gè)單元，用以輸出與每一組輸入數(shù)據(jù)相對(duì)應(yīng)的分類(lèi)信息任何一個(gè)中間層單元接受所有輸入單元傳來(lái)的信號(hào)，并把處理后的結(jié)果傳

9、向每一個(gè)輸出單元，供輸出層再次加工，同層的神經(jīng)元彼此不相聯(lián)接，輸入與輸出單元之間也沒(méi)有直接聯(lián)接。這樣，除了神經(jīng)元的形式定義外，我們又給出了網(wǎng)絡(luò)結(jié)構(gòu)。有些文獻(xiàn)將這樣的網(wǎng)絡(luò)稱(chēng)為兩層前傳網(wǎng)絡(luò)，稱(chēng)為兩層的理由是，只有中間層及輸出層的單元才對(duì)信號(hào)進(jìn)行處理；輸入層的單元對(duì)輸入數(shù)據(jù)沒(méi)有任何加工，故不計(jì)算在層數(shù)之內(nèi)。為了敘述上的方便，此處引人如下記號(hào)上的約定：令表示一個(gè)確定的已知樣品標(biāo)號(hào)，在蠓蟲(chóng)問(wèn)題中，分別表示學(xué)習(xí)樣本中的15個(gè)樣品；當(dāng)將第個(gè)樣品的原始數(shù)據(jù)輸入網(wǎng)絡(luò)時(shí)，相應(yīng)的輸出單元狀態(tài)記為，隱單元狀態(tài)記為，輸入單元取值記為。請(qǐng)注意，此處下標(biāo)依次對(duì)應(yīng)于輸出層、中間層及輸入層。在這一約定下，從中間層到輸出層的權(quán)記

10、為，從輸入層到中間層的權(quán)記為。如果，均已給定，那么，對(duì)應(yīng)于任何一組確定的輸入，網(wǎng)絡(luò)中所有單元的取值不難確定。事實(shí)上，對(duì)樣品而言，隱單元的輸入是 （5）相應(yīng)的輸出狀態(tài)是 （6）由此，輸出單元所接收到的迭加信號(hào)是 （7）網(wǎng)絡(luò)的最終輸出是 （8）這里，沒(méi)有考慮閾值，正如前面已經(jīng)說(shuō)明的那樣，這一點(diǎn)是無(wú)關(guān)緊要的。還應(yīng)指出的是，對(duì)于任何一組確定的輸入，輸出是所有權(quán)的函數(shù)。如果我們能夠選定一組適當(dāng)?shù)臋?quán)值，使得對(duì)應(yīng)于學(xué)習(xí)樣本中任何一組Af樣品的輸入，輸出，對(duì)應(yīng)于Apf的輸入數(shù)據(jù)，輸出為，那么蠓蟲(chóng)分類(lèi)問(wèn)題實(shí)際上就解決了。因?yàn)?，?duì)于任何一個(gè)未知類(lèi)別的樣品，只要將其觸角及翅膀長(zhǎng)度輸入網(wǎng)絡(luò)，視其輸出模式靠近亦或，就可

11、能判斷其歸屬。當(dāng)然，有可能出現(xiàn)介于中間無(wú)法判斷的情況。現(xiàn)在的問(wèn)題是，如何找到一組適當(dāng)?shù)臋?quán)值，實(shí)現(xiàn)上面所設(shè)想的網(wǎng)絡(luò)功能。2.3 向后傳播算法對(duì)于一個(gè)多層網(wǎng)絡(luò)，如何求得一組恰當(dāng)?shù)臋?quán)值，使網(wǎng)絡(luò)具有特定的功能，在很長(zhǎng)一段時(shí)間內(nèi)，曾經(jīng)是使研究工作者感到困難的一個(gè)問(wèn)題，直到1985年，美國(guó)加州大學(xué)的一個(gè)研究小組提出了所謂向后傳播算法（Back-Propagation），使問(wèn)題有了重大進(jìn)展，這一算法也是上個(gè)10年促成人工神經(jīng)網(wǎng)絡(luò)研究迅猛發(fā)展的一個(gè)原因。下面就來(lái)介紹這一算法。如前所述，我們希望對(duì)應(yīng)于學(xué)習(xí)樣本中Af樣品的輸出是，對(duì)應(yīng)于Apf的輸出是，這樣的輸出稱(chēng)之為理想輸出。實(shí)際上要精確地作到這一點(diǎn)是不可能的，

12、只能希望實(shí)際輸出盡可能地接近理想輸出。為清楚起見(jiàn)，把對(duì)應(yīng)于樣品的理想輸出記為，那么 （9）度量了在一組給定的權(quán)下，實(shí)際輸出與理想輸出的差異，由此，尋找一組恰當(dāng)?shù)臋?quán)的問(wèn)題，自然地歸結(jié)為求適當(dāng)?shù)闹?，使達(dá)到極小的問(wèn)題。將式（8）代入（9），有 （10）易知，對(duì)每一個(gè)變量或而言，這是一個(gè)連續(xù)可微的非線(xiàn)性函數(shù)，為了求得其極小點(diǎn)與極小值，最為方便的就是使用最速下降法。最速下降法是一種迭代算法，為求出的（局部）極小，它從一個(gè)任取的初始點(diǎn)出發(fā)，計(jì)算在點(diǎn)的負(fù)梯度方向，這是函數(shù)在該點(diǎn)下降最快的方向；只要，就可沿該方向移動(dòng)一小段距離，達(dá)到一個(gè)新的點(diǎn)，是一個(gè)參數(shù)，只要足夠小，定能保證。不斷重復(fù)這一過(guò)程，一定能達(dá)到的一

13、個(gè)（局部）極小點(diǎn)。就本質(zhì)而言，這就是BP算法的全部?jī)?nèi)容，然而，對(duì)人工神經(jīng)網(wǎng)絡(luò)問(wèn)題而言，這一算法的具體形式是非常重要的，下面我們就來(lái)給出這一形式表達(dá)。對(duì)于隱單元到輸出單元的權(quán)而言，最速下降法給出的每一步的修正量是 （11）此處令 （12）對(duì)輸入單元到隱單元的權(quán) （13）此處 從（11）和（13）式可以看出，所有權(quán)的修正量都有如下形式，即 （14）指標(biāo)對(duì)應(yīng)于兩個(gè)單元中輸出信號(hào)的一端，對(duì)應(yīng)于輸入信號(hào)的一端，或者代表或者代表。形式上看來(lái)，這一修正是“局部”的，可以看作是Hebb律的一種表現(xiàn)形式。還應(yīng)注意，由實(shí)際輸出與理想輸出的差及決定，而則需依賴(lài)算出，因此，這一算法才稱(chēng)為向后傳播算法。稍加分析還可知道

14、，利用由（11）（13）式所給出的計(jì)算安排，較之不考慮的向后傳播，直接計(jì)算所有含的原表達(dá)式，極大地降低了計(jì)算工作量。這組關(guān)系式稱(chēng)作廣義法則，它們不難推廣到一般的多層網(wǎng)絡(luò)上去。利用這一迭代算法，最終生成在一定精度內(nèi)滿(mǎn)足要求的的過(guò)程，稱(chēng)為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程?？梢钥闯?，這里所提供的學(xué)習(xí)機(jī)制是元與元之間權(quán)的不斷調(diào)整，學(xué)習(xí)樣本中任何一個(gè)樣品所提供的信息，最終將包含在網(wǎng)絡(luò)的每一個(gè)權(quán)之中。參數(shù)的大小則反映了學(xué)習(xí)效率。為了更有效地應(yīng)用BP算法，我們做出如下一些補(bǔ)充說(shuō)明。（i）在式（11）與（13）中，表示為與所有樣品有關(guān)的求和計(jì)算。實(shí)際上，我們還可以每次僅考慮輸入一個(gè)樣品所造成的修正，然后，按照隨機(jī)選取的

15、順序，將所有樣品逐個(gè)輸入，不斷重復(fù)這一手續(xù)，直至收斂到一個(gè)滿(mǎn)意的解為止。（ii）在如上的算法中，利用實(shí)際輸出與理想輸出差的平方和作為度量?jī)?yōu)劣的標(biāo)準(zhǔn)，這并不是唯一的度量方式，完全可以從其它的函數(shù)形式出發(fā)，例如從相對(duì)熵出發(fā)，導(dǎo)出相應(yīng)的算法。（iii）在如上的討論中使用的是最速下降法，顯然，這也不是唯一的選擇，其它的非線(xiàn)性?xún)?yōu)化方法，諸如共軛梯度法，擬牛頓法等，都可用于計(jì)算。為了加速算法的收斂速度，還可以考慮各種不同的修正方式。（iv）BP算法的出現(xiàn)，雖然對(duì)人工神經(jīng)網(wǎng)絡(luò)的發(fā)展起了重大推動(dòng)作用，但是這一算法仍有很多問(wèn)題對(duì)于一個(gè)大的網(wǎng)絡(luò)系統(tǒng)，BP算法的工作量仍然是十分可觀的，這主要在于算法的收斂速度很慢。

16、更為嚴(yán)重的是，此處所討論的是非線(xiàn)性函數(shù)的優(yōu)化，那么它就無(wú)法逃脫該類(lèi)問(wèn)題的共同困難：BP算法所求得的解，只能保證是依賴(lài)于初值選取的局部極小點(diǎn)。為克服這一缺陷，可以考慮改進(jìn)方法，例如模擬退火算法，或從多個(gè)隨機(jī)選定的初值點(diǎn)出發(fā)，進(jìn)行多次計(jì)算，但這些方法都不可避免地加大了工作量。2.4 蠓蟲(chóng)分類(lèi)問(wèn)題的求解下面利用上文所敘述的網(wǎng)絡(luò)結(jié)構(gòu)及方法，對(duì)蠓蟲(chóng)分類(lèi)問(wèn)題求解。編寫(xiě)Matlab程序如下：clearp1=1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90; 1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;p2=1.14,1.8

17、2;1.18,1.96;1.20,1.86;1.26,2.00 1.28,2.00;1.30,1.96;p=p1;p2'pr=minmax(p);goal=ones(1,9),zeros(1,6);zeros(1,9),ones(1,6);subplot(1,2,1)plot(p1(:,1),p1(:,2),'h',p2(:,1),p2(:,2),'o')subplot(1,2,2)net=newff(pr,3,2,'logsig','logsig');net.trainParam.show = 10;net.trainP

18、aram.lr = 0.05;net.trainParam.epochs = 3000;net.trainParam.goal = 1e-10;net.trainParam.epochs = 50000;net = train(net,p,goal);x=1.24 1.80;1.28 1.84;1.40 2.04'y0=sim(net,p)y=sim(net,x)§3 處理蠓蟲(chóng)分類(lèi)的另一種網(wǎng)絡(luò)方法3.1 幾個(gè)有關(guān)概念在介紹本節(jié)主要內(nèi)容之前，首先說(shuō)明幾個(gè)不同的概念。在上一節(jié)中，我們把利用BP算法確定聯(lián)接強(qiáng)度，即權(quán)值的過(guò)程稱(chēng)為“學(xué)習(xí)過(guò)程”，這種學(xué)習(xí)的特點(diǎn)是，對(duì)任何一個(gè)輸入樣品，其

19、類(lèi)別事先是已知的，理想輸出也已事先規(guī)定，因而從它所產(chǎn)生的實(shí)際輸出與理想輸出的異同，我們清楚地知道網(wǎng)絡(luò)判斷正確與否，故此把這一類(lèi)學(xué)習(xí)稱(chēng)為在教師監(jiān)督下的學(xué)習(xí)；與它不同的是，有些情況下學(xué)習(xí)是無(wú)監(jiān)督的，例如，我們?cè)噲D把一組樣品按其本身特點(diǎn)分類(lèi)，所要?jiǎng)澐值念?lèi)別是事先未知的，需要網(wǎng)絡(luò)自身通過(guò)學(xué)習(xí)來(lái)決定，因而，在學(xué)習(xí)過(guò)程中，對(duì)每一輸入所產(chǎn)生的輸出也就無(wú)所謂對(duì)錯(cuò)，對(duì)于這樣的情況，顯然BP算法是不適用的。另一個(gè)有關(guān)概念是所謂有競(jìng)爭(zhēng)的學(xué)習(xí)。在上節(jié)所討論的蠓蟲(chóng)分類(lèi)網(wǎng)絡(luò)中，盡管我們所希望的理想輸出是或，但實(shí)際輸出并不如此，一般而言，兩個(gè)輸出單元均同時(shí)不為0。與此不同，我們完全可以設(shè)想另外一種輸出模式：對(duì)應(yīng)任何一組輸入

20、，所有輸出單元中，只允許有一個(gè)處于激發(fā)態(tài)，即取值為1，其它輸出單元均被抑制，即取值為0。一種形象的說(shuō)法是，對(duì)應(yīng)任何一組輸入，要求所有的輸出單元彼此競(jìng)爭(zhēng)，唯一的勝利者贏得一切，失敗者一無(wú)所獲，形成這樣一種輸出機(jī)制的網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，稱(chēng)為有競(jìng)爭(zhēng)的學(xué)習(xí)。3.2 最簡(jiǎn)單的無(wú)監(jiān)督有競(jìng)爭(zhēng)的學(xué)習(xí)本節(jié)敘述一種無(wú)監(jiān)督有競(jìng)爭(zhēng)的網(wǎng)絡(luò)學(xué)習(xí)方法，由此產(chǎn)生的網(wǎng)絡(luò)可用來(lái)將一組輸入樣品自動(dòng)劃分類(lèi)別，相似的樣品歸于同一類(lèi)別，因而激發(fā)同一輸出單元，這一分類(lèi)方式，是網(wǎng)絡(luò)自身通過(guò)學(xué)習(xí)，從輸入數(shù)據(jù)的關(guān)系中得出的。蠓蟲(chóng)分類(lèi)問(wèn)題對(duì)應(yīng)有教師的網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，顯然不能由如上的方法來(lái)解決。但在這種無(wú)監(jiān)督有競(jìng)爭(zhēng)的學(xué)習(xí)闡明之后，很容易從中導(dǎo)出一種適用于有

21、監(jiān)督情況的網(wǎng)絡(luò)方法；此外，本節(jié)所介紹的網(wǎng)絡(luò)，在數(shù)據(jù)壓縮等多種領(lǐng)域，都有其重要應(yīng)用?？紤]一個(gè)僅由輸入層與輸出層組成的網(wǎng)絡(luò)系統(tǒng)，輸入單元數(shù)目與每一樣品的測(cè)量值數(shù)目相等，輸出單元數(shù)目適當(dāng)選取。每一個(gè)輸入單元與所有輸出單元聯(lián)接，第個(gè)輸入元到第個(gè)輸出元的權(quán)記為，同層單元間無(wú)橫向聯(lián)接。無(wú)妨假設(shè)所有輸入數(shù)值均已規(guī)化到之間，又因?yàn)槭怯懈?jìng)爭(zhēng)的學(xué)習(xí)，輸出單元只取0或1兩個(gè)值，且對(duì)應(yīng)每一組輸入，只有一個(gè)輸出元取1。取1的輸出元記為，稱(chēng)之為優(yōu)勝者對(duì)于任何一組輸入，規(guī)定優(yōu)勝者是有最大凈輸入的輸出元，即對(duì)輸入而言， (15)取最大值的單元，其中是輸出元所有權(quán)系數(shù)組成的向量，也就是說(shuō) ， （16）如果權(quán)向量是按照的方式標(biāo)準(zhǔn)

22、化的，（16）式等價(jià)于 ， （17）即優(yōu)勝者是其標(biāo)準(zhǔn)化權(quán)向量最靠近輸入向量的輸出元。令，其余的輸出。這樣的輸出規(guī)定了輸入向量的類(lèi)別，但為了使這種分類(lèi)方式有意義，問(wèn)題化為如何將學(xué)習(xí)樣本中的所有樣品，自然地劃分為聚類(lèi)，并對(duì)每一聚類(lèi)找出適當(dāng)?shù)臋?quán)向量。為此，采用如下的算法：隨機(jī)取定一組不大的初始權(quán)向量，注意不使它們有任何對(duì)稱(chēng)性。然后，將已知樣品按照隨機(jī)順序輸入網(wǎng)絡(luò)。對(duì)輸入樣品，按上文所述確定優(yōu)勝者，對(duì)所有與有關(guān)的權(quán)作如下修正 （18）所有其它輸出單元的權(quán)保持不變。注意到，所有權(quán)的修正公式可統(tǒng)一表示為 這一形式也可視為Hebb律的一種表現(xiàn)。（18）式的幾何意義是清楚的，每次修正將優(yōu)勝者的權(quán)向量向輸入向量

23、移近一小段距離，這使得同一樣品再次輸入時(shí)，有更大的獲勝可能?？梢院侠淼仡A(yù)期，反復(fù)重復(fù)以上步驟，使得每個(gè)輸出單元對(duì)應(yīng)了輸入向量的一個(gè)聚類(lèi)，相應(yīng)的權(quán)向量落在了該聚類(lèi)樣品的重心附近。當(dāng)然，這只是一個(gè)極不嚴(yán)密的說(shuō)明。特別應(yīng)當(dāng)指出，上述算法，對(duì)于事先按照標(biāo)準(zhǔn)化了的輸入數(shù)據(jù)更為適用，整個(gè)過(guò)程不難由計(jì)算機(jī)模擬實(shí)現(xiàn)。為了更有效地使用如上算法，下面對(duì)實(shí)際計(jì)算時(shí)可能產(chǎn)生的問(wèn)題，作一些簡(jiǎn)要說(shuō)明。首先，如果初始權(quán)選擇不當(dāng)，那么可能出現(xiàn)這樣的輸出單元，它的權(quán)遠(yuǎn)離任何輸入向量，因此，永遠(yuǎn)不會(huì)成為優(yōu)勝者，相應(yīng)的權(quán)也就永遠(yuǎn)不會(huì)得到修正，這樣的單元稱(chēng)之為死單元。為避免出現(xiàn)死單元，可以有多種方法。一種辦法是初始權(quán)從學(xué)習(xí)樣本中抽樣

24、選取，這就保證了它們都落在正確范圍內(nèi)；另一種辦法是修正上述的學(xué)習(xí)算法，使得每一步不僅調(diào)整優(yōu)勝者的權(quán)，同時(shí)也以一個(gè)小得多的值，修正所有其它的權(quán)。這樣，對(duì)于總是失敗的單元，其權(quán)逐漸地朝著平均輸入方向運(yùn)動(dòng)，最終也會(huì)在某一次競(jìng)爭(zhēng)中取勝。此外，還存在有多種處理死單元的方法，感興趣的讀者可從文獻(xiàn)中找到更多的方法。另外一個(gè)問(wèn)題是這一算法的收斂性。如果式（18）或（19）中反映學(xué)習(xí)效率的參數(shù)取為一個(gè)固定常數(shù)，那么權(quán)向量永遠(yuǎn)不會(huì)真正在某一有限點(diǎn)集上穩(wěn)定下來(lái)。因此，應(yīng)當(dāng)考慮在公式中引進(jìn)隨學(xué)習(xí)時(shí)間而變化的收斂因子。例如，取，。這一因子的適當(dāng)選取是極為重要的，下降太慢，無(wú)疑增加了不必要工作量，下降太快，則會(huì)使學(xué)習(xí)變得

25、無(wú)效。3.3 LVQ方法上述有競(jìng)爭(zhēng)學(xué)習(xí)的一個(gè)最重要應(yīng)用是數(shù)據(jù)壓縮中的向量量子化方法（Vector Quantization）。它的基本想法是，把一個(gè)給定的輸入向量集合分成個(gè)類(lèi)別，然后用類(lèi)別指標(biāo)來(lái)代表所有屬于該類(lèi)的向量。向量分量通常取連續(xù)值，一旦一組適當(dāng)?shù)念?lèi)別確定之后，代替?zhèn)鬏敾虼鎯?chǔ)輸入向量本身，可以只傳輸或存儲(chǔ)它的類(lèi)別指標(biāo)。所有的類(lèi)別由個(gè)所謂“原型向量”來(lái)表示，我們可以利用一般的歐氏距離，對(duì)每一個(gè)輸入向量找到最靠近的原型向量，作為它的類(lèi)別。顯然，這種分類(lèi)方法可以通過(guò)有競(jìng)爭(zhēng)的學(xué)習(xí)直接得到。一旦學(xué)習(xí)過(guò)程結(jié)束，所有權(quán)向量的集合，便構(gòu)成了一個(gè)“電碼本”。一般而言，上述無(wú)監(jiān)督有競(jìng)爭(zhēng)的學(xué)習(xí)，實(shí)際提供了一種聚類(lèi)分析方法，對(duì)如蠓蟲(chóng)分類(lèi)這種有監(jiān)督的問(wèn)題并不適用。1989年，Kohonen對(duì)向量量子化方法加以修改，提出了一種適用于有監(jiān)督情況的學(xué)習(xí)方法，稱(chēng)為學(xué)習(xí)向量量子化（Learning Vector Quantiza