神經(jīng)網(wǎng)絡(luò)(含matlab程序和工具箱介紹)

1、NN）的皐本求和3”連接權(quán)示，權(quán)第十九章神經(jīng)網(wǎng)絡(luò)模型§1神經(jīng)網(wǎng)絡(luò)簡介人神經(jīng)網(wǎng)絡(luò)是在現(xiàn)代神經(jīng)科學(xué)的基礎(chǔ)上提出和發(fā)展起來的，旨在反映人腦結(jié)構(gòu)及 功能的種抽彖數(shù)學(xué)模型。自1943年美國心理學(xué)家W. McCulloch和數(shù)學(xué)家W. Pitts提 出形式神經(jīng)尤的抽象數(shù)學(xué)模>M| BH以來，人I神經(jīng)網(wǎng)絡(luò)理論技術(shù)經(jīng)過f 50筋年 曲折的發(fā)展。特別是20世紀(jì)80年代，人工神經(jīng)網(wǎng)絡(luò)的研究取得了重大進(jìn)展，有關(guān)的理 論和方法已經(jīng)發(fā)展成一門界物理學(xué)、數(shù)學(xué)、計(jì)算機(jī)科學(xué)和神經(jīng)牛物學(xué)Z間的交義學(xué)科。 它人模式識(shí)別，圖像處理，智能控制，組介優(yōu)化，金融預(yù)測與管理，,機(jī)器人以及 專家系統(tǒng)等領(lǐng)域得到廣泛的應(yīng)用.提出

2、了 40多種神經(jīng)網(wǎng)絡(luò)模型其中比較著名的有感知機(jī)，Hopfield網(wǎng)縱 Boltzinan機(jī)，門適應(yīng)共振理論及反向傳掩網(wǎng)絡(luò)（BP）等。在這 里我們僅討論最基本的網(wǎng)絡(luò)模型及其學(xué)習(xí)算法。1.1人工神經(jīng)元模型卜圖?< -為人匸神經(jīng)W9洛（artificial neural netwoifi單元的神經(jīng)元模型,它仃三個(gè)基本要索：（i） 一組連接（對(duì)應(yīng)J；生物神經(jīng)元的突觸），值為正表示激活，為負(fù)表示抑制.（11） 一個(gè)求和單元，用J：求収各輸入信右的加權(quán)和（線性組介）。dll） 一個(gè)非線性激活函數(shù)，起非線性映射作用并將神經(jīng)元輸出幅度限制在一定范 陽內(nèi)（般限制在（0）或（-IJ）Z間）。此外還仃一個(gè)閾值

3、q （或偏bk=-ok）o 以上作用可分別以數(shù)學(xué)式表達(dá)出來：域=E % ®，弘=叫一 0 =久坯）式中“,心,兀,為輸入信號(hào)，叫i，Wr,W切為神經(jīng)尤R之權(quán)值，勺為線性組介結(jié) 果，q為鋼值，0（）為激活函數(shù).片為神經(jīng)元R的輸出。若把輸入的維數(shù)增加一維，則可把閾值©包括進(jìn)去。例如*勺，兒=0（你）此處增加了一個(gè)新的連接，英輸入為X0 = -l （或+ 1），權(quán)值為叫0 = 0 （或0）,如 卜圖所示.敵活畫效求和連接収輸A囚定*人幾（叮1比二一】固定入3"二6斗=+1(C ( 、輸出輸才2 0/ A r */人S激活西數(shù)輸岀兒激活因數(shù)處）可以冇以卜兒種:閾值函數(shù)1,

4、 v>00, v <0 即階梯函數(shù)。這時(shí)相應(yīng)的輸出兒為1, v,>0°<0處）=兒=求和連樓權(quán)(1)H沖工敗/j-q ,常稱此種神經(jīng)兀為|«（11）分段線性函數(shù)V>1(PW =*(1+叭,0,v <-1(2)它類似一個(gè)放人系數(shù)為1的非線性放人器，當(dāng)丁作J線性區(qū)時(shí)它是一個(gè)線性組介器, 放人系數(shù)趨r無窮人時(shí)變成一個(gè)閾值單元。（m）|sigmoid p貝數(shù)最常用的函數(shù)形式為處）=i（3）1 + exp（-av）參數(shù)a > 0町控制其斜率。另一種常用的是雙曲正切函數(shù)(p(v) = tanlil-exp(-v) l + exp(-v)(4)這

5、類兩數(shù)貝冇平淸和漸近件.并保持單調(diào)性。Matlab中的激活（傳遞）函數(shù)如卜表所示:函數(shù)名功能puielin線性傳遞旳數(shù)hardlun硬限幅傳遞曲數(shù)hardluiis對(duì)稱碾限幅傳遞函數(shù)satlm飽和線性傳遞函數(shù)satlms對(duì)稱飽和線性傳遞隨數(shù)logsig對(duì)數(shù)S形傳遞函數(shù)tansig正切S形傳遞頤數(shù)ladbas徑向基傳遞函數(shù)compet競爭層傳遞換數(shù)各個(gè)慚數(shù)的定義及使用方法，可以參看Matlab的幫助(如在Matlab命令窗I I運(yùn)行2help taiisig,町以看到taiitig的使用方法，及tansig的定義為0(") = - 1 )。1 + e1.2網(wǎng)絡(luò)結(jié)構(gòu)及工作方式除單元特性外

6、，網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)也是NN的一個(gè)巫耍特性。從連接方式看NN主耍 有兩種*前饋型網(wǎng)絡(luò)各神經(jīng)尤接受前一層的輸入.并輸出給卜一層，沒有反饋.結(jié)點(diǎn)分為兩類，即輸入 單尤和計(jì)算單尤，每一計(jì)算單元町佝任意個(gè)輸入，但只有一個(gè)輸出(它可耦介到任意多 個(gè)實(shí)它結(jié)點(diǎn)作為瓦輸入)。通常前饋網(wǎng)絡(luò)可分為不同的層,第i層的輸入只與第i-l層 輸出相連，輸入和輸出結(jié)點(diǎn)與外界相連.而其它中間層則稱為隱層反饋型網(wǎng)絡(luò)冃所有結(jié)點(diǎn)都是計(jì)算單尤，同時(shí)也町接受輸入.并向外界輸出。白NN的丁作過程主耍分為兩個(gè)階段：第一個(gè)階段足學(xué)習(xí)期.此時(shí)以計(jì)算單元狀態(tài)不 各連線上的可通過學(xué)習(xí)來修改階段是作此時(shí)各連孩權(quán)固定,計(jì)算 單元狀態(tài)變化，以達(dá)到某種穩(wěn)定狀

7、態(tài)。從作用效果看，前饋網(wǎng)絡(luò)主耍是函數(shù)映射，町用模式識(shí)別和函數(shù)逼近。反饋網(wǎng)絡(luò) 按對(duì)能吊丁斤數(shù)的極小點(diǎn)的利用來分類有兩種：第一類是能帚函數(shù)的所冇極小心部起作 用，這一類主耍用作各種聯(lián)想存儲(chǔ)器：第二類只利用全局極小點(diǎn)，它主耍用J求解最優(yōu) 化問題。§2域蟲分類問題與多層前饋網(wǎng)絡(luò)分類問題類比對(duì)癌癥基因的分類問題2.1螳蟲分類問題竦蟲分類問題可概括敘述如卜：生物學(xué)家試圖對(duì)兩種竦蟲(Af與Apf)進(jìn)行鑒別, 依據(jù)的資料是觸角和翅膀的長度，12經(jīng)測得了 9支Af和6支Apf的數(shù)據(jù)如卜：Af: (1.24,1.27), (1.36,1.74), (1.384.64), (1.38J.82), (1.3

8、8.1.90), (1.40,1.70), (1.48,1.82), (1.54J.82), (1.56,2.08).Apf: (1.14,1.82), (1.18,1 96), (1.20,1.86), (1.26,2.00), (1.28,2.00), (1.30,1.96).現(xiàn)在的問題是：(I) 根據(jù)如上資料，如何制定一種方法，正確地區(qū)分兩類般蟲。(II) 對(duì)觸角和翼長分別為(124丄80). (1.28,1.84)與(1.40204)的3個(gè)標(biāo)本，用所得 到的方法加以識(shí)別。(in)設(shè)Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應(yīng)該修改分類方法。如上的問題是仃代衷性的，它的特點(diǎn)是要求依

9、據(jù)已知資料(9支Af的數(shù)據(jù)和6支 Apf的數(shù)據(jù))制定一種分類方法，類別是已經(jīng)給定的(Af或Apf).今后，我們將9支Af及6支Apf的數(shù)據(jù)集介稱Z為學(xué)習(xí)樣本。2.2多層前饋網(wǎng)絡(luò)為解決上述問題，考慮一個(gè)苴結(jié)構(gòu)如卜圖所示的人工神經(jīng)網(wǎng)絡(luò).激活函數(shù)由處）=；71 + exp（-ov）來決定。圖中垠卜-面單元，即山所示的一屋稱為輸入層.用以輸入己知測眩值。在 我們的例子中，它只需包括兩個(gè)單元，一個(gè)用以輸入觸角長度一個(gè)用以輸入翅勝長度。 中間一層稱為處理層或隱單元層，單元個(gè)數(shù)適當(dāng)選取，対r它的選取方法，仃些文獻(xiàn) 進(jìn)行了討論.但通過試驗(yàn)來決定,或許是最好的途徑。在我們的例子中，取三個(gè)就足夠 To雖上面一層稱

10、為輸出層，在我們的例子屮只包含二個(gè)單啟 用以輸出與每組輸入 數(shù)據(jù)柑対W的分類信息.任何個(gè)屮間以甲兀接受所有輸入單元傳來的信號(hào)，并把處艸. 后的結(jié)果傳向每一個(gè)輸出單兀，供輸出層再次加同層的神 二彼此不相聯(lián)輸入 與輸出單元之間也沒冇育接聯(lián)接。這樣,除了神經(jīng)元的形式定義外,我們又給出了網(wǎng)絡(luò) 結(jié)構(gòu)些文獻(xiàn)將這樣的網(wǎng)絡(luò)稱為兩空前傳網(wǎng)絡(luò)，稱為兩層的理由是，只有中間層及輸 出層的單元才對(duì)信號(hào)進(jìn)行處理：輸入層的單尤對(duì)輸入數(shù)據(jù)沒冇任何加丁，故不計(jì)算在層 數(shù)Z內(nèi)。為了敘述上的方便，此處引人如卜記號(hào)上的約定：令$表示一個(gè)確定的已知樣品標(biāo) 號(hào)，在嫁蟲問題屮，5 = 1,2,-,15,分別表示學(xué)習(xí)樣本屮的15個(gè)樣品；當(dāng)將

11、第$個(gè)樣 品的原始數(shù)據(jù)輸入網(wǎng)絡(luò)時(shí)，相應(yīng)的輸出單兀狀態(tài)記為O：（/ = l,2）, 單元狀態(tài)記為 H；（丿=123）,輸入單尤取值記為/；伙= 1,2）。請(qǐng)注意，此處卜標(biāo)ijR依次對(duì)應(yīng)J： 輸出層、中間層及輸入層。在這一約定卜，從中間層到輸出層的記為叫，從輸入層 到中間層的記為諄“。如果叫,，評(píng)朋均已給定，那么，對(duì)應(yīng)J：任何一組確定的輸入 （/：,/；）,網(wǎng)絡(luò)中所仃單元的取值不難確定。事實(shí)上，對(duì)樣品s而言，隱單尤J的輸入 是E = £%；4=1相應(yīng)的輸出狀態(tài)是巧=0（匸；）=颯£巧/；）（6）由此,輸出單尤i所接收到的迭加信號(hào)是-235-(7)h； = 1廬；=1聊(

12、3;珊；)網(wǎng)絡(luò)的最終輸出是O： = 0(吋)=0(f 叫H；) = 0(f 叫0(f 闿& )( 8)j=l；=14=1這里，沒仃考慮閾值，正如前而已經(jīng)說明的那樣，這-點(diǎn)是無關(guān)緊耍的。還應(yīng)扌旨出的是, 對(duì)于任何一組確定的輸入，輸出是所有權(quán)的函數(shù)如果我們能夠選定一組適當(dāng)?shù)臋?quán)值Ov.,ivzJ,使得對(duì)應(yīng)學(xué)習(xí)樣本中任何一組Af 樣品的輸入(/；,/；),輸出(0：,0；) = (1,0)，對(duì)應(yīng)于Apf的輸入數(shù)據(jù),輸出為(0,1), 那么螺蟲分類問曲實(shí)際上就解決了因?yàn)?，?任何一個(gè)未知類別的樣品，只要將直觸 角及翅膀長度輸入網(wǎng)絡(luò)，視其輸出模式靠近(1,0)亦或(0,1),就可能判斷其歸屬。當(dāng)然

13、, 仃可能出現(xiàn)介中間無法判斷的情況現(xiàn)在的問題是，如何找到組適的權(quán)值，實(shí)現(xiàn) 上面所設(shè)想的網(wǎng)絡(luò)功能。2.3 向后傳播算法個(gè)釣仁如何求得一組恰當(dāng)?shù)臋?quán)值.使網(wǎng)絡(luò)員仃特淀的功能心很長一段時(shí)間內(nèi)，曾經(jīng)是使研究工作者感到困難的 個(gè)問題，直到1985年，美國加州人學(xué)的 一個(gè)研究小纟I提出了所謂向后億播弼法(Back-Propagation).使問題冇了幣:人進(jìn)展，這 一算法也是促成人工神經(jīng)網(wǎng)絡(luò)研究迅猛發(fā)展的個(gè)原因。下面就來介紹這一算法。如前所述，我們希型對(duì)應(yīng)J：學(xué)習(xí)樣木中Af樣品的輸出是(1,0),對(duì)應(yīng)于Apf的輸出 是(0,1),這樣的輸出稱Z為理想輸出實(shí)際上耍樁呦地作到這一心是不町能的，只能 希塑實(shí)際輸出

14、盡可能地接近理想輸出。為清處起見，把對(duì)應(yīng)J：樣品$的理想輸出記為 7/，那么E(W)J工(770：尸(9)度杲了在一組給定的權(quán)卜，實(shí)際輸出與理想輸出的差異，rh此，尋找一組恰當(dāng)?shù)臋?quán)的問 題，口然地歸結(jié)為求適當(dāng)W的值.使E(w)達(dá)到極小的問題。將式(8)代入(9),仃 132£(w)=-£tr - 0(5理(工町/；)( 10)Z syij-lJt=l易知，對(duì)每一個(gè)變童W"或嗎而言，這是一個(gè)連續(xù)可微的非線性函數(shù)，為了求得其極 小點(diǎn)與極小值，最為方便的就是使用駁速下降溺 最速卜曲広是種迭代算法為求出 E(W)的(局部)極小，它從 任取I點(diǎn)W。出！«,計(jì)算在W

15、。點(diǎn)的負(fù)梯度方向-VE(W°),這是慚數(shù)在該點(diǎn)卜降最快的方向：只要VE(W°)hO,就可沿該方向移動(dòng)-小段茨離，達(dá)到一個(gè)新的點(diǎn)W嚴(yán)Wo-VE(W°), 是一個(gè)參數(shù)，只要足夠小, 定能保證E(WjvE(W°)。不斷負(fù)復(fù)這一過程，一定能達(dá)到£的一個(gè)(局部)極小點(diǎn)。 就本質(zhì)而言,這就是法的全部內(nèi)容，然而,對(duì)人工神經(jīng)網(wǎng)絡(luò)問題而言,這一算法 的JI體形式是非常重耍的，卜而我們就來給出這一形式表達(dá)。對(duì)隱單尤到輸出單尤的權(quán)w”而言,最速卜降法給出的每一步的修正杲是-#-(11)PFAw, =-7 = 工"-O； Wg）H；= 工広巧帥"

16、1s此處令(12)(13)(14)硏=0（可）77-0訂對(duì)輸入單元到隱單尤的權(quán)闿火/5F町=- h = 工"- O： 0“）叫00；）/；=工硏唧®；）/； =7工歹；/；S此處i從（11）和（13）式可以看出，所冇權(quán)的修正杲都冇如卜形式，即M宀5；巧指標(biāo)卩対MU兩個(gè)單兀屮輸出信號(hào)的一端，g對(duì)應(yīng)J：輸入信號(hào)的一端.v或者代表H或 者代表/。形式上看來,這一修正是“局部”的,可以看作是Hebb律的一種表現(xiàn)形式。 還應(yīng)注意，硏由實(shí)際輸出與理想輸出的差及忙決定，而哥則需依賴/算出，因此， 這-算法才稱為向后傳播算法。稍加分析還可知道，利用由（11）（13）式所給岀的計(jì)算安排，較之

17、不考慮5；的向厲傳播直接計(jì)算所冇含0的原表達(dá)式.極人地降低了 計(jì)算工作駅。這組關(guān)系式稱作廣義5-法則，它們不難推廣到一般的多層網(wǎng)絡(luò)上去。利用這-迭代算法.最終生成在一定楕度內(nèi)滿足耍求的叫,町的過程，稱為工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程叮以看出，這里所提供的學(xué)習(xí)機(jī)制是兀9元Z間權(quán)的不斷m 學(xué)習(xí)樣本中任何一個(gè)樣品所提供的佇息，最終將包含在網(wǎng)絡(luò)的每一個(gè)權(quán)之中。參數(shù)的 大小則反映了學(xué)習(xí)效率。為了更仃效地應(yīng)用BP算法.我們做出如卜-些補(bǔ)充說明。（1）在式（11）與（13）中，Aw. Aiv.,表示為與所冇樣品s冇關(guān)的求和計(jì)算。實(shí)際上，我們還可以每次僅考慮輸入一個(gè)樣品所造成繼並 然厲，按照隨機(jī)選取的順 序.將所右樣胡

18、逐個(gè)輸入，不斷直復(fù)這一手續(xù)，苴至收斂到一個(gè)滿意的解為止。劣的標(biāo)準(zhǔn)，這并不是唯-的度彊方式，完全可以從其它的函數(shù)形式出發(fā)，例如從相對(duì)爛 出發(fā)，導(dǎo)出相應(yīng)的算法。（in）在如上的討論中使用的是瑕速卜降法，顯然，這也不是唯一的選擇，其它的 非線性優(yōu)化方法，諸如共軌梯度法.擬牛頓法等，都可用計(jì)算。為了加速算法的收斂 速度，還可以考渥各種不同的修正方式。（iv） BP算法的出現(xiàn)，雖然對(duì)人匸神經(jīng)網(wǎng)絡(luò)的發(fā)展起了朿人推動(dòng)作用，但是這一 算弘仍仃很多問題.對(duì)個(gè)人的網(wǎng)絡(luò)系統(tǒng) BP算法的匸作帚仍然是十分可觀的，這 主要在算法的收斂速度很慢。更為嚴(yán)幣:的是.此處所討論的是卄線性函數(shù)的優(yōu)化.那 么它就無法逃脫該類問題的共

19、同困難：BP算法所求得的解,只能保證是依賴于初值選 取的局部極小點(diǎn)。為克服這一缺陷，可以考慮改進(jìn)方法.例如模擬退火算法，或從多個(gè)-237-#-隨機(jī)選定的初值點(diǎn)出發(fā)，進(jìn)行多次計(jì)算.但這些方法都不可避免地加人了匸作帚。 2.4螳蟲分類問題的求解卜面利用上文所敘述的網(wǎng)絡(luò)結(jié)構(gòu)及方法，対螳蟲分類問題求解。編寫Matlab程序 如F： clearpl-1.24,1.27;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;p2=1.14,1.82;1.18,1.96;1.20,1.86;1.26,2

20、.00 1.28/2.00;1.30/1.96;p=pl;p21;pr=minmax(p);取每一行的最大值與最小值構(gòu)成2*N的矩陣 goal-ones(1,9),zeros(1,6);zeros(1,9),ones(1,6); plot(pl(:zl)/pl(:/2)zlhl/p2(:/l)/p2(:/2)zfol) net = train(net,p,goal); x=1.24 1.80;1.28 1.84;1.40 2.04 1; y0-sim(net z p) y=sim(net,x)net=newff(pr,3,2 nettrainParam.show net trainParam.

21、 1r = 0.05;學(xué)習(xí)(KjH寸間net. trainParam. goal = le-10 ; 目標(biāo) net. trainParam. epochs = 50000;學(xué)習(xí)的次數(shù)§3處理域蟲分類的另一種網(wǎng)絡(luò)方法3.1兒個(gè)有關(guān)概念在介紹木節(jié)主耍內(nèi)容Z前，首先說明幾個(gè)不同的概念。在上一節(jié)小，我們把利用BPina確定聯(lián)接強(qiáng)度，即權(quán)值的過程稱為“學(xué)習(xí)過程”，這種學(xué)習(xí)的特點(diǎn)是,對(duì)任何 個(gè)輸八衛(wèi)已知的,理想輸出也己事先規(guī)定，,認(rèn)它所產(chǎn)工的實(shí)I；小他出與理想輸出的異同.我們淸楚地知道網(wǎng)絡(luò)判斷正砸與否，故此把這一類學(xué)習(xí)稱為在教 師監(jiān)替卜的學(xué)習(xí)；與它不同的足，仃些情況卜學(xué)習(xí)是無監(jiān)替的，例如，我們試

22、圖把一組然BP算法是不適用的。另一個(gè)仃關(guān)概念是所謂仃竟?fàn)幍膶W(xué)習(xí)。在上節(jié)所討論的嫌蟲分類網(wǎng)絡(luò)中，盡管我們 所希型的理想輸出是(1.0)或(0.1),但實(shí)際輸出并不如此 一般而言兩個(gè)輸出單尤均同時(shí)不為0。與此不同，我們完全町以設(shè)想另外一種輸出模式：對(duì)空企何一俎輸入，所 仃輸出單元中.只允許有一個(gè)IE：亦 即取值為匚其它輸出單元均被抑制 01-值為* 一種形象的說法是對(duì)應(yīng)任何一組輸入，耍求所令的輸出單尤彼此競爭，唯一 的勝利者贏得-切，失敗者一無所獲，形成這樣一種輸出機(jī)制的網(wǎng)絡(luò)學(xué)習(xí)過程，稱為仃 競爭的學(xué)習(xí)。3.2最簡單的無監(jiān)督有競爭的學(xué)習(xí)本節(jié)敘述一種無監(jiān)骨冇競爭的網(wǎng)絡(luò)學(xué)習(xí)方法，由此產(chǎn)牛的網(wǎng)絡(luò)可用來將

23、一組輸入樣 品自動(dòng)劃分類別,相似的禪品歸于同一類別，因而激發(fā)同一輸出單兀，這分類方式, 是網(wǎng)絡(luò)自身通過學(xué)習(xí)，從輸入數(shù)據(jù)的關(guān)系中得出的。嫌蟲分類問題對(duì)應(yīng)仃教師的網(wǎng)絡(luò)學(xué)習(xí)過程，顯然不能山如上的方濃來解決。但在這 種無監(jiān)怦有競爭的學(xué)習(xí)闡明Z后，很容易從中導(dǎo)出一種適用有監(jiān)俘情況的網(wǎng)絡(luò)方法: 此外，本節(jié)所介紹的網(wǎng)絡(luò)，在數(shù)據(jù)壓縮等多種領(lǐng)域，都仃其巫耍應(yīng)用?？紤] 由與組成的網(wǎng)絡(luò)系統(tǒng)，輸入單元數(shù)忖與每一樣品的更進(jìn) 數(shù)LI相等，輸出單尤數(shù)目適當(dāng)選取。每一個(gè)輸入單兀與所仃輸出單元聯(lián)接，輸入 元到第i個(gè)輸出元的權(quán)記:斗 層沖尤間無橫向聯(lián)接。無妨假設(shè)所仃輸入數(shù)值均已 規(guī)化到-1,1之間，又因?yàn)槭秦昃範(fàn)幍膶W(xué)習(xí)，輸出卩元

24、只取o或1兩個(gè)值，11対應(yīng)每 組輸入，只有一個(gè)輸出元取1取1的輸出尤記為廠，稱之為優(yōu)勝者.對(duì)J：任何一紐輸入s,規(guī)定優(yōu)勝者是有最人 凈輸入的輸出元，即對(duì)輸入/ = (/15,/)而言，九=工叫£三叱/(15)J収最人值的單元，其中叱是輸出尤i所有權(quán)系數(shù)組成的向最，也就是說W, / > / , (Vz)(16)如果權(quán)向鼠:是按照工此；=1的方式標(biāo)準(zhǔn)化的，(16)式等價(jià)于i|W,-/|<|-/|, (V/)(17)即優(yōu)勝苦是直標(biāo)準(zhǔn)化權(quán)向吊最徹近輸入向吊:的輸出尤.令O廠=1,直余的輸出 0, =0。這樣的輸出規(guī)定了輸入向吊的類別，但為了使這種分類方式冇意義，問題化 為如何將學(xué)

25、習(xí)樣本中的所有樣品，自然地劃分為聚類，并對(duì)每一聚類找出適為的權(quán)向靈。 為此，采用如卜的算法：隨機(jī)収定-組不人的初始權(quán)向磺，注盤不使它們仃任何對(duì)稱性。 然后，將已知樣品按照隨機(jī)順序輸入網(wǎng)絡(luò)。對(duì)輸入樣品S,按上文所述確定優(yōu)勝者廣， 對(duì)所有與廣有關(guān)的權(quán)作如下修正叫,=(/；一叫丿(18)所仃其它輸出單元的權(quán)保持不變。注意到O ,=1, O,=0(iH廣)，所仃權(quán)的修正公式 可統(tǒng)一表示為叫廠Q(/；-叫丿這-形式也可視為Hebb律的-種表現(xiàn)。(18)式的幾何意義是清楚的，每次修正將優(yōu) 勝者的權(quán)向帚向輸入向最移近一小段距離，這使得同一樣胡再次輸入時(shí)，r有更人的 獲勝可能?？梢院侠淼仡A(yù)期，反復(fù)重復(fù)以上步驟

26、，使得每個(gè)輸出單尤對(duì)應(yīng)了輸入向彊的 一個(gè)聚類，相應(yīng)的權(quán)向童落在了該聚類樣品的碇心附近。當(dāng)然，這只是一個(gè)極不嚴(yán)密的 說明。特別應(yīng)當(dāng)指出，上述算法，對(duì)J：事先按照工匚=1標(biāo)準(zhǔn)化了的輸入數(shù)據(jù)更為適用, 整個(gè)過程不難由計(jì)算機(jī)模擬實(shí)現(xiàn)。為了更有效地使用如匕算法，卜面對(duì)實(shí)際計(jì)算時(shí)可能產(chǎn)牛的問題，作一些簡耍說明。 首先，如呆初始權(quán)選擇不當(dāng)，那么可能出現(xiàn)這樣的輸出中兀，它的權(quán)遠(yuǎn)離任何輸入 向帚，I対此,永遠(yuǎn)不會(huì)成為優(yōu)勝若，相應(yīng)的權(quán)也就永遠(yuǎn)不會(huì)得到修正，這樣的單尤稱之 為託*flo為避免出現(xiàn)死單元，可以仃多種方法。-種辦法是初始權(quán)從學(xué)習(xí)樣本中抽樣 選取，這就保證了它們都落在正確范用內(nèi)：另一種辦法是修正上述的學(xué)習(xí)

27、算法，使得每 一步不僅調(diào)整優(yōu)勝者的權(quán)，同時(shí)也以一個(gè)小卻多的值，修正所何其它的權(quán)。這樣，對(duì) 總是欠敗的小兀，兀權(quán)逐漸地朝著平均輸入方向運(yùn)動(dòng)，最終也會(huì)在某一次競爭中取勝。 此外，還存在右鄉(xiāng)種處理死單尤的方法，感興趣的讀者可從文獻(xiàn)中找到更多的方法。另外一個(gè)問題是這一算法的收斂性 如果式（18）或（19）中反映學(xué)習(xí)效率的參數(shù) 取為一個(gè)固定常數(shù)，那么權(quán)向?qū)糜肋h(yuǎn)不會(huì)其正在某-仃限點(diǎn)集上穩(wěn)定卜來。因此，應(yīng) 當(dāng)考慮在公式中引進(jìn)隨學(xué)習(xí)時(shí)間而變化的收斂因子。例如，取 = （/） = 。/", 0<a<l.這一因了的適當(dāng)選取是極為重耍的，卜降太慢，無疑增加了不必耍工作 錄，卜降太快，則會(huì)使學(xué)習(xí)

28、變得無效。3.3 LVQ 方法上述仃競爭學(xué)習(xí)的-個(gè)最重耍應(yīng)用是#ae壓縮的佝子化方法 （Vector有監(jiān)督的學(xué)習(xí)Quantization）它的旱木想法是，把一個(gè)給定的輸入向靈集介廠分成M介類別.然后 用類別指標(biāo)來代表所右屬I：該類的向瓦 向彊分彊通常取連續(xù)值，一口一組適當(dāng)?shù)念悇e 確定之后，代替?zhèn)鬏斝┬洼斎胂虻跄旧?，可以只傳輸或存?chǔ)它的類別指標(biāo)。所冇的類 別由m個(gè)所謂欄mr來表示，我們可以利用一般的歐氏距離，對(duì)毎一個(gè)輸入向 量找到最筋近的原型向業(yè) 作為它的類別。顯然，這種分類方法可以通過仃竟?fàn)幍膶W(xué)習(xí) 肖接得到。一口學(xué)習(xí)過程結(jié)束，所有權(quán)向最的集合，便構(gòu)成了一個(gè)二電碼木 一般而言，上述無監(jiān)替冇競爭的學(xué)）J,實(shí)際提供了 種聚類分析方汰.對(duì)如螳蟲分 方這種有監(jiān)督的問題并SS 1989年.Kohonen Xj向屋屆子化方法加以修改，提出 了一種適用JW監(jiān)骨情況的學(xué)習(xí)方法，稱為學(xué)習(xí)FL*畳王化（Leaining Vbcror Quantizati