機(jī)器學(xué)習(xí)-神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)部分6

機(jī)器學(xué)習(xí)For2013級計(jì)算機(jī)應(yīng)用技術(shù)研究生主講李鶴喜機(jī)器學(xué)習(xí)——人工神經(jīng)網(wǎng)絡(luò)1、概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡寫為ANNs）也簡稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（ConnectionistModel），是對人腦或自然神經(jīng)網(wǎng)絡(luò)（NaturalNeuralNetwork）若干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡(luò)以對大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面的功能。國際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人HechtNielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進(jìn)行信息處理?！?、人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)是對人類大腦系統(tǒng)的一階特性的一種描述。簡單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。3、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的以下幾個(gè)突出的優(yōu)點(diǎn)使它近年來引起人們的極大關(guān)注：

(1)可以充分逼近任意復(fù)雜的非線性關(guān)系；

(2)所有定量或定性的信息都等勢分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性；

(3)采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能；

(4)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；

(5)能夠同時(shí)處理定量（函數(shù)逼近）、定性（分類判別）知識(shí)。4、生物神經(jīng)元模型1、生物神經(jīng)網(wǎng)絡(luò)由樹突軸突突觸其他神經(jīng)元構(gòu)成軸突——細(xì)胞體突起的最長的外伸管狀纖維稱為軸突。軸突最長可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。

樹突——細(xì)胞體的伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。突觸——是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)3、生物神經(jīng)元模型神經(jīng)元的六個(gè)基本特征：1）神經(jīng)元相互聯(lián)接，呈網(wǎng)狀結(jié)構(gòu)；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。4、神經(jīng)元的MP模型MP-模型如圖所示，神經(jīng)元由輸入量x1，x2，…，

xn，對應(yīng)每個(gè)輸入量的權(quán)值wi、門限和輸出y組成，f為傳遞函數(shù)x1x2xnfy…w1w2wnf(v)v4、一般神經(jīng)元模型一組連接（對應(yīng)于生物神經(jīng)元的突觸），連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，為負(fù)表示抑制。一個(gè)求和單元，用于求取各輸入信號的加權(quán)和（線性組合).一個(gè)非線性激活函數(shù)(作用函數(shù))，起非線性映射作用并將神經(jīng)元拘出幅度限制在一定范圍內(nèi).此外還有一個(gè)閾值4、一般神經(jīng)元模型4、一般神經(jīng)元模型兩種閾值，一種為負(fù)起抑制作用，一種為偏置激活函數(shù)的作用1、控制輸入對輸出的激活作用；2、對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。幾種常見的激活函數(shù)

1、閾值函數(shù)．

M-P模型2，分段線性函數(shù)它類似于一個(gè)放大系數(shù)為1的非線性放大器，當(dāng)工作于線性區(qū)時(shí)它是一個(gè)線性組合器，放大系數(shù)趨于無窮大時(shí)變成一個(gè)閾值單元。幾種常見的激活函數(shù)3。Sigmoid函數(shù)雙曲正切函數(shù)這類具有平滑和漸近性，并保持單調(diào)性．幾種常見的激活函數(shù)神經(jīng)網(wǎng)絡(luò)的基本模型4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型1、前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（feed-forwardNetworks）所謂前向網(wǎng)絡(luò)，是各神經(jīng)元接收前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點(diǎn)分為兩類，即輸入節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，每一個(gè)計(jì)算節(jié)點(diǎn)可有多個(gè)輸入，但只有一個(gè)輸出，通常前饋型網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入與輸出節(jié)點(diǎn)與外界相連，而其他中間層則稱為隱層。4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型2、反饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（feedbackneuralnetwork）反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)。在這種網(wǎng)絡(luò)中，每個(gè)神經(jīng)元同時(shí)將自身的輸出信號作為輸入信號反饋給其他神經(jīng)元，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能，如果將李雅普諾夫函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型3、隨機(jī)型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（RandomNeuralNetworks）前向型和反饋型的網(wǎng)絡(luò)是確定性的網(wǎng)絡(luò)，即給定輸入則輸出是確定的，但實(shí)際上按照神經(jīng)生理學(xué)的觀點(diǎn),生物神經(jīng)元本質(zhì)上是隨機(jī)的.因?yàn)樯窠?jīng)網(wǎng)絡(luò)重復(fù)地接受相同的刺激,其響應(yīng)并不相同,這意味著隨機(jī)性在生物神經(jīng)網(wǎng)絡(luò)中起著重要的作用.隨機(jī)神經(jīng)網(wǎng)絡(luò)正是仿照生物神經(jīng)網(wǎng)絡(luò)的這種機(jī)理進(jìn)行設(shè)計(jì)的.隨機(jī)神經(jīng)網(wǎng)絡(luò)一般有兩種:一種是采用隨機(jī)性神經(jīng)元激活函數(shù);另一種是采用隨機(jī)型加權(quán)連接,即是在普通人工神經(jīng)網(wǎng)絡(luò)中加入適當(dāng)?shù)碾S機(jī)噪聲。4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型3、自組織神經(jīng)網(wǎng)絡(luò)（SelfOrganizing

neural

Networks）自組織神經(jīng)網(wǎng)絡(luò)是一種無導(dǎo)師學(xué)習(xí)方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要特點(diǎn)是通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓寬神經(jīng)網(wǎng)絡(luò)在模式識(shí)別與分類方面的應(yīng)用。輸入模式輸出模式競爭層人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

ANN研究中的核心問題：Howtodeterminetheweights(權(quán)值)人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對它的訓(xùn)練過程

有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對應(yīng)。輸入向量與其對應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：

1）

從樣本集合中取一個(gè)樣本（Ai，Di）；

2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；

3）

求E=Di-O；

4）

根據(jù)E調(diào)整權(quán)矩陣W；

5）對每個(gè)樣本重復(fù)上述過程，直到對整個(gè)樣本集來說，誤差不超過規(guī)定范圍。監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對應(yīng)抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。非監(jiān)督學(xué)習(xí)(無導(dǎo)師學(xué)習(xí))強(qiáng)化學(xué)習(xí)（reinforcementlearning再勵(lì)學(xué)習(xí)）這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對系統(tǒng)構(gòu)出結(jié)果只給出評價(jià)（獎(jiǎng)或懲）而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)勵(lì)的動(dòng)作來改善自身性能神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則1）直接設(shè)計(jì)計(jì)算例如

Hopfield作優(yōu)化計(jì)算2）學(xué)習(xí)得到,即通過訓(xùn)練(training)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則a)誤差糾正學(xué)習(xí)令為輸入時(shí)神經(jīng)元在n時(shí)刻的實(shí)際輸出，表示相應(yīng)的應(yīng)有的輸出（由訓(xùn)練樣本給出）誤差：訓(xùn)練指標(biāo)：權(quán)值調(diào)整：b)Hebb學(xué)習(xí)

神經(jīng)心理學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸結(jié)為”當(dāng)某一突觸（連接）兩端的神經(jīng)元的激活同步（同為激括或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之則應(yīng)減弱”。

Heb規(guī)則：權(quán)值調(diào)整函數(shù)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則c)競爭學(xué)習(xí)顧名思義，在竟?fàn)帉W(xué)習(xí)時(shí)網(wǎng)絡(luò)各輸出單元互相竟?fàn)?，最后達(dá)到只有一個(gè)最強(qiáng)者激活。最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接，這樣眾多輸出單元中如有某一單元較強(qiáng)，則它將獲勝并抑制其他單元，最后只有比較強(qiáng)者處于激活狀態(tài)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則BP反向傳播神經(jīng)網(wǎng)絡(luò)

BP（BackPropagation）網(wǎng)絡(luò)是1986年由Rumelhart

和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用誤差最速下降法，通過誤差反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)。BP反向傳播神經(jīng)網(wǎng)絡(luò)

Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。J.McClellandDavidRumelhart

BP神經(jīng)網(wǎng)絡(luò)模型多層BP神經(jīng)網(wǎng)絡(luò)（這里是4層）BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)在第n次迭代中輸出端的第j個(gè)單元的輸出為,則該單元的誤差信號為定義單元j的平方誤差為,則輸出端總的平方誤差的值為:其中c包括所有輸出單元,設(shè)訓(xùn)練集中樣本總數(shù)為N,則平方誤差的均值為采用誤差下降法，就是根據(jù)誤差E(n)變化情況調(diào)整權(quán)值w，另一個(gè)角度說就是，權(quán)值w變化對誤差E信號有何影響。即要求取，如果為正，表示隨著w增加E增加，顯然應(yīng)該減少w,如果為負(fù)，表示隨著w增加E減少，當(dāng)然應(yīng)該增加w,即按下列算式調(diào)節(jié)，η是比例因子，也稱學(xué)習(xí)效率：BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)故取w為:故問題的關(guān)鍵在于如何求誤差前級輸入BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)設(shè)E（n)為學(xué)習(xí)的目標(biāo)函數(shù),學(xué)習(xí)的目的是使E（n)達(dá)到最小.下面就逐個(gè)樣本學(xué)習(xí)的情況推導(dǎo)BP算法.上圖表示第j個(gè)單元接收到前一層i信號并產(chǎn)生誤差信號的過程求和傳遞函數(shù)實(shí)際輸出期望函數(shù)誤差前級輸入權(quán)重前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入前級輸入誤差前級輸入前級輸入前級輸入前級輸入前級輸入BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)第j節(jié)點(diǎn)匯聚輸入的加權(quán)和為定義傳遞函數(shù)為φ(.),則節(jié)點(diǎn)j的輸出為:求誤差E(n)對各權(quán)值wji(n)的偏導(dǎo)BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)由于故有:按梯度下降法，權(quán)值的修正量為：其中負(fù)號表示修正量按梯度下降方式，δj(n)稱為局部梯度其記為：BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)對兩種節(jié)點(diǎn)進(jìn)行討論1、單元j是輸出節(jié)點(diǎn)2、單元j是隱節(jié)點(diǎn)

其結(jié)構(gòu)如下圖所示神經(jīng)元k神經(jīng)元jBP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)將此式對yj(n)求導(dǎo)得：2、單元j是隱節(jié)點(diǎn)

其結(jié)構(gòu)如下圖所示j節(jié)點(diǎn)后面是輸出節(jié)點(diǎn)k,則誤差平方和由于所以BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)上式式對yj(n)求導(dǎo)得：而其中q

為單元

的輸入端個(gè)數(shù)所以有代入式得：即當(dāng)j為隱層節(jié)點(diǎn)時(shí)，其局部梯度等于下一層局部梯度加權(quán)和與激活函數(shù)的乘積。BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)(1)對于輸出節(jié)點(diǎn)j,δj(n)為與誤差信號ej(n)之積;總結(jié)以上推導(dǎo),對于節(jié)點(diǎn)j權(quán)值修正量可寫為的計(jì)算有兩種情況:(2)對于隱節(jié)點(diǎn)j,δj(n)為與與后面一層的δk(n)加權(quán)和之積;BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)權(quán)值訓(xùn)練周期:

學(xué)習(xí)時(shí)每輸入一次全部訓(xùn)練樣本稱為一個(gè)訓(xùn)練周期,學(xué)習(xí)一個(gè)周期一個(gè)周期地進(jìn)行,直到目標(biāo)函數(shù)達(dá)到最小值或小于某一給定值.訓(xùn)練網(wǎng)絡(luò)有兩種方式:(1)每輸入一個(gè)樣本修改一次權(quán)值;(2)批處理方式,待組成一個(gè)訓(xùn)練周期的全部N個(gè)樣本都依此輸入后計(jì)算總的平均誤差:權(quán)值調(diào)整:其中計(jì)算方法與前面一樣BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)BP算法的步驟如下:(1)初始化,選定一結(jié)構(gòu)合理的網(wǎng)絡(luò),置所有可調(diào)參數(shù)(權(quán)和閾值)為均勻分布的較小數(shù)值;(2)對每個(gè)輸入樣本做如下計(jì)算:

①前向計(jì)算

對

l層的j單元其中

為前一層（l-1)的單元送來的工作信號.

i=0時(shí)BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)設(shè)單元j的傳遞函數(shù)（激活函數(shù)）為sigmoid函數(shù)，則求導(dǎo):當(dāng)l=1時(shí)，有若j屬于輸出層(l=L),BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)②反向計(jì)算δ對輸出單元

③按下式修正權(quán)值（3）n=n+1輸入新的樣本(或新一周期樣本),直至Eav

達(dá)到預(yù)定要求,訓(xùn)練時(shí)各周期中樣本的輸入順序要重新隨即排序。對隱層單元BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號修正各單元權(quán)值6.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值ε

和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第k個(gè)輸入樣本及對應(yīng)期望輸出第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。第五步，利用隱含層到輸出層的連接權(quán)值、輸出層和隱含層的輸出計(jì)算誤差函數(shù)對隱含層各神經(jīng)元的偏導(dǎo)數(shù)。第六步，利用輸出層各神經(jīng)元和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。6.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe>0，此時(shí)Δwho<06.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e<0,此時(shí)Δwho>0whoBP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)設(shè)BP神經(jīng)網(wǎng)絡(luò)有輸入層、隱層和輸出層三層結(jié)構(gòu)，其節(jié)點(diǎn)數(shù)分別為n1,n2,n3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)設(shè)有Ｎ個(gè)訓(xùn)練樣本集Ｘ＝｛X1,X2,…,XN},Xi是n1維向量，將訓(xùn)練樣本按列排布，得到批輸入矩陣考慮到閾值θ，輸入矩陣增加一行-1，即將X擴(kuò)充成：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)隱層有n2個(gè)節(jié)點(diǎn)，設(shè)輸入層與隱層節(jié)點(diǎn)間的權(quán)值矩陣為IW（含有閾值），則有則N個(gè)樣本的輸入加權(quán)求和v1矩陣為：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)設(shè)隱層的傳遞函數(shù)（激活函數(shù))=1/(1+e-v),隱層輸出Y矩陣為：與隱層類似，對輸出層加權(quán)求和v2矩陣為：BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)設(shè)輸出層的傳遞函數(shù)（激活函數(shù))=1/(1+e-v),輸出O矩陣為：反向計(jì)算，誤差矩陣E為反向計(jì)算，輸出層的局部梯度BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)刪除隱層與輸出層的權(quán)矩陣HW的第一列有：計(jì)算隱層的局部梯度更新隱層與輸出層之間的權(quán)值矩陣HWBP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)更新輸入層與隱層之間的權(quán)值矩陣：計(jì)算所有樣本批輸入后的誤差平方和判斷E<E閾值（如0.0001），網(wǎng)絡(luò)訓(xùn)練結(jié)束，保存權(quán)值IW和HW。6.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對數(shù)Sigmoid激活函數(shù)格式

a=logsig(N)說明對數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。x1x2xixny1ykyq實(shí)際輸入x實(shí)際輸出y期望輸出d根據(jù)誤差e=d-y網(wǎng)絡(luò)權(quán)值w調(diào)節(jié)wBP神經(jīng)網(wǎng)絡(luò)算法的基本思想MATlABNN工具箱多層BP神經(jīng)網(wǎng)MATlABNN工具箱多層BP神經(jīng)網(wǎng)MATlABNNT傳遞函數(shù)類型net=newff([-12;05],[3,1],{'tansig','purelin'},'traingd');在MATLAB7.0下使用newff創(chuàng)建BP神經(jīng)網(wǎng)。例如我們創(chuàng)建一個(gè)2維輸入向量，具有3個(gè)隱層節(jié)點(diǎn)和一個(gè)輸出節(jié)點(diǎn)的3層結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)：隱節(jié)點(diǎn)數(shù)輸出節(jié)點(diǎn)數(shù)BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真1、BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建隱層傳遞函數(shù)輸出層傳遞函數(shù)輸入分量范圍訓(xùn)練方式2、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練當(dāng)確定完神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)—輸入向量維數(shù)、隱層節(jié)點(diǎn)數(shù)、輸出節(jié)點(diǎn)數(shù)，就要采用一定的訓(xùn)練方法對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目前應(yīng)用最多的是—梯度下降法。在Matlab神經(jīng)網(wǎng)絡(luò)工具箱中，設(shè)置了這一算法。并通過train()函數(shù)來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練?；菊Z法為：Trained_net=train(net,P,T)待訓(xùn)練的網(wǎng)完成的訓(xùn)練網(wǎng)輸入的特征向量訓(xùn)練目標(biāo)BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真仿真是對已經(jīng)訓(xùn)練完成的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行應(yīng)用模擬，以檢查神經(jīng)網(wǎng)絡(luò)的響應(yīng)性能。即當(dāng)網(wǎng)絡(luò)權(quán)值w,偏移值確定后，通過給定輸入Pgiven，檢查實(shí)際輸出y與期望是否相符。對于仿真結(jié)果滿足要求的網(wǎng)絡(luò)就可定型。仿真采用下列函數(shù)：y=sim(trained_net,P);完成的訓(xùn)練網(wǎng)輸入的特征向量網(wǎng)絡(luò)的實(shí)際輸出3、BP神經(jīng)網(wǎng)絡(luò)的仿真

BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真1、手寫數(shù)字字符的識(shí)別2、人臉的識(shí)別3、車型的識(shí)別4、車牌的識(shí)別5、指紋的識(shí)別6、虹膜的識(shí)別6、剛體目標(biāo)的識(shí)別7、人體目標(biāo)的識(shí)別基于BP神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別的應(yīng)用領(lǐng)域神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例1、手寫數(shù)字圖像的歸一化處理將圖像歸一到16×8的像素矩陣2、將16×8的像素矩陣按列堆疊成128維向量矩陣→向量3、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

(1)輸入節(jié)點(diǎn)數(shù)的確定根據(jù)輸入特征向量是128維，故選輸入節(jié)點(diǎn)為128個(gè)。（2）輸出節(jié)點(diǎn)數(shù)的確定辨識(shí)10個(gè)手寫數(shù)字，以每個(gè)節(jié)點(diǎn)為1代表一個(gè)數(shù)字的標(biāo)識(shí)，所以輸出節(jié)點(diǎn)可選10個(gè)節(jié)點(diǎn)；（3）隱層節(jié)點(diǎn)數(shù)的確定可按下列公式估計(jì)

式中n為輸入節(jié)點(diǎn)m為輸出節(jié)點(diǎn)數(shù)，a=1~10為可調(diào)常數(shù)。這里取隱層節(jié)點(diǎn)20神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例3、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

(4)傳遞函數(shù)設(shè)計(jì)輸入節(jié)點(diǎn)數(shù)的確定由于以1作為類別的數(shù)值表示，即輸出最大限為1，故隱層與輸出層傳遞函數(shù)都選擇為logsig。（5）輸入數(shù)據(jù)和期望值按向量排成的矩陣組織，即220神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例—實(shí)施神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例—實(shí)施SOM自組織神經(jīng)網(wǎng)絡(luò)

采用有導(dǎo)師學(xué)習(xí)規(guī)則的神經(jīng)網(wǎng)絡(luò)是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法準(zhǔn)則。而在很多情況下，人在認(rèn)知過程中沒有預(yù)知的正確模式，人獲得大量知識(shí)常常是靠“無師自通”，即通過對客觀事物的反復(fù)觀察，分析與比較，自行揭示其內(nèi)在規(guī)律，并對具有共同特征的事物進(jìn)行正確歸類。對于人的這種學(xué)習(xí)方式，基于有導(dǎo)師學(xué)習(xí)策略的神經(jīng)網(wǎng)絡(luò)是無能為力的。自組織神經(jīng)網(wǎng)絡(luò)的無導(dǎo)師學(xué)習(xí)方式更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要特點(diǎn)是通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓寬神經(jīng)網(wǎng)絡(luò)在模式識(shí)別與分類方面的應(yīng)用。自組織網(wǎng)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型。如：自組織特征映射（SelfOrganizingFeatureMap）網(wǎng)絡(luò)—SOM）；對偶（向）傳播（CounterPropagationNetwork)網(wǎng)絡(luò)—CPN)；自適應(yīng)共振理論（AdaptiveResonanceTheory)網(wǎng)絡(luò)—ART等。其共同特點(diǎn)是都具有競爭層。最簡單的網(wǎng)絡(luò)結(jié)構(gòu)具有一個(gè)輸入層和一個(gè)競爭層。輸入模式輸出模式競爭層輸入層負(fù)責(zé)接受外界信息并將輸入模式向競爭層傳遞，起觀察作用。競爭層負(fù)責(zé)對該模式進(jìn)行“分析比較”，找出規(guī)律以正確分類。這種功能是通過下面要介紹的競爭機(jī)制實(shí)現(xiàn)的。SOM自組織神經(jīng)網(wǎng)絡(luò)競爭學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān)的幾個(gè)基本概念。1基本概念模式、分類、聚類與相似性模式：一般當(dāng)網(wǎng)絡(luò)涉及識(shí)別、分類問題時(shí)，常用輸入模式（而不稱輸入樣本）；分類：將待識(shí)別的輸入模式劃分為各自的模式類中去；聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類；相似性：輸入模式的聚類依據(jù)。2相似性測量神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可轉(zhuǎn)化為比較兩個(gè)向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。模式識(shí)別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。一、競爭學(xué)習(xí)的概念與原理（1）歐式距離法

X和Xi兩向量歐式距離:

兩個(gè)模式向量的歐式距離越小，兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)，其歐式距離為零。如果對同一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)。（2）余弦法計(jì)算兩個(gè)模式向量夾角的余弦：兩個(gè)模式向量越接近，其類角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其夾角余弦為1。若同類內(nèi)各模式向量間的夾角規(guī)定不大于ΨT，則Ψ成為一種聚類判據(jù)。余弦法適合模式向量長度相同或模式特征只與向量方向相關(guān)的相似性測量。2相似性測量3側(cè)抑制與競爭自組織網(wǎng)絡(luò)（競爭型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競爭層各神經(jīng)元競爭對輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競爭的“勝者”，這一獲勝神經(jīng)元?jiǎng)t表示對輸入模式的識(shí)別?！w現(xiàn)了生物生神經(jīng)細(xì)胞的側(cè)抑制競爭機(jī)制。實(shí)驗(yàn)表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種側(cè)抑制使神經(jīng)細(xì)胞之間呈現(xiàn)出競爭，開始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對周圍神經(jīng)細(xì)胞的抑制作用也最強(qiáng)，其結(jié)果使其周圍神經(jīng)細(xì)胞興奮程度減弱，從而該神經(jīng)細(xì)胞是這次競爭的“勝者”，其它神經(jīng)細(xì)胞在競爭中失敗。自組織網(wǎng)絡(luò)在競爭層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿足一定的分布關(guān)系，如距離近的抑制強(qiáng)，距離遠(yuǎn)的抑制弱。這種權(quán)值（或說側(cè)抑制關(guān)系）一般是固定的，訓(xùn)練過程中不需要調(diào)整，在各類自組織網(wǎng)絡(luò)拓樸圖中一般予以省略。（不省略時(shí)，也只看成抑制關(guān)系的表示，不作為網(wǎng)絡(luò)權(quán)來訓(xùn)練）。最強(qiáng)的抑制關(guān)系是競爭獲勝者“惟我獨(dú)興”，不允許其它神經(jīng)元興奮，這種抑制方式也稱為勝者為王。3側(cè)抑制與競爭4向量歸一化不同的向量有長短和方向區(qū)別，向量歸一化的目的是將向量變成方向不變長度為1的單位向量。單位向量進(jìn)行比較時(shí)，只需比較向量的夾角。X向量的歸一化：

競爭學(xué)習(xí)原理（規(guī)則）競爭學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個(gè)步驟。得到：(1)向量歸一化將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競爭層中各神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,…m)全部進(jìn)行歸一化處理。(2)尋找獲勝神經(jīng)元此式看出，欲兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點(diǎn)積的問題，而且權(quán)向量與輸入向量的點(diǎn)積正是競爭層神經(jīng)元的凈輸入。(3)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整勝者為王競爭學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1，其余輸出為零。即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為式中為學(xué)習(xí)率，一般其值隨著學(xué)習(xí)的進(jìn)展而減小?？梢钥闯?，當(dāng)時(shí)，對應(yīng)神經(jīng)無的權(quán)值得不到調(diào)整，其實(shí)質(zhì)是“勝者”對它們進(jìn)行了強(qiáng)側(cè)抑制，不允許它們興奮。應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向量，需要重新歸一化。步驟（3）完成后回到步驟（1）繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到零。二、自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò)1、SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)

生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū)域，每個(gè)功能區(qū)域完成各自的特定功能，如視覺、聽覺、語言理解和運(yùn)動(dòng)控制等等。當(dāng)人腦通過感官接受外界的特定時(shí)空信息時(shí)，將引起大腦皮層的特定區(qū)域興奮。每個(gè)區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時(shí)，總是以某一個(gè)神經(jīng)元（細(xì)胞）為興奮中心，呈現(xiàn)出墨西哥帽（MexicanHat）式興奮分布。

1981年芬蘭學(xué)者kohonen提出一個(gè)稱為自組織特征映射（SelfOrganizationFeatureMap-SOM或SOFM）網(wǎng)絡(luò)，前述大腦神經(jīng)細(xì)胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反應(yīng)。網(wǎng)絡(luò)區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán)境的不同，神經(jīng)元（細(xì)胞）要靠競爭機(jī)制來決定勝負(fù)。大腦的這種區(qū)域性結(jié)構(gòu)，雖有遺傳因素，但，各區(qū)域的功能大部分是后天通過環(huán)境的適應(yīng)和學(xué)習(xí)得到的，這就是神經(jīng)網(wǎng)絡(luò)的自組織（selforganization）特征.1、SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)2、SOM網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與權(quán)值調(diào)整域2.1拓?fù)浣Y(jié)構(gòu)

SOM網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出層模擬做出響應(yīng)的大腦皮層。輸出層也是競爭層，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)形式常見有一維線陣和二維平面陣。網(wǎng)絡(luò)實(shí)現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。網(wǎng)絡(luò)實(shí)現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。SOM二維平面陣結(jié)構(gòu)3、SOM網(wǎng)絡(luò)的運(yùn)行原理與學(xué)習(xí)算法SOM網(wǎng)絡(luò)的運(yùn)行原理

SOM網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機(jī)輸入模式時(shí)，對某個(gè)特定的輸入模式，輸出層會(huì)有某個(gè)節(jié)點(diǎn)產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機(jī)制，獲勝神經(jīng)元對其鄰近神經(jīng)元存在一種側(cè)抑制（競爭）機(jī)制。

SOM網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強(qiáng)，且由近及遠(yuǎn)地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨西哥帽分布調(diào)整權(quán)值，但其計(jì)算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。因此在SOM網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡化函數(shù)或其他一些方式（如優(yōu)勝域）。以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域——優(yōu)勝域。優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始可定義得較大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。SOM網(wǎng)絡(luò)的學(xué)習(xí)算法

SOM網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱Kohonen算法，是在勝者為王算法基礎(chǔ)上加以改進(jìn)而成。其主要區(qū)別在于調(diào)整權(quán)向量的側(cè)抑制方式不同。勝者為王算法中，獲勝神經(jīng)元對周圍神經(jīng)元的抑制是“封殺”式的（只獲勝神經(jīng)調(diào)整權(quán)向量，周圍其它無權(quán)調(diào)整）

。當(dāng)輸入模式的類別改變時(shí)，獲勝節(jié)點(diǎn)也會(huì)改變。獲勝節(jié)點(diǎn)對周圍的節(jié)點(diǎn)因側(cè)抑制作用也產(chǎn)生較大的響應(yīng)，于是，獲勝節(jié)點(diǎn)及其優(yōu)勝鄰域內(nèi)的所有節(jié)點(diǎn)所連接的權(quán)向量均向輸入向量的方向作程度不同的調(diào)整。網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)的權(quán)值，最后使輸出層各節(jié)點(diǎn)成為對特定模式類敏感的神經(jīng)元，對應(yīng)的內(nèi)星權(quán)向量成為各輸入模式類的中心向量。并且當(dāng)兩個(gè)模式類的特征接近時(shí)，代表這兩類的節(jié)點(diǎn)在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布情況的有序特征圖。

Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競爭機(jī)制。3、SOM網(wǎng)絡(luò)的運(yùn)行原理與學(xué)習(xí)算法Kohonen算法（1）初始化

給定學(xué)習(xí)率初值η(0)，（0<η(0)<1）；確定初始優(yōu)勝（鄰）域Nj*(0)的初值；一般用半徑表示，可取競爭層陣列幅度的1/3~1/2,甚至可覆蓋整個(gè)競爭層。對各權(quán)向量賦隨機(jī)小數(shù)并進(jìn)行歸一化，得:（2）接受輸入

從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式進(jìn)行歸一化處理，得:（3）尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積，j=1,2,…m，得到點(diǎn)積最大的獲勝節(jié)點(diǎn)j*；如若輸入模式未歸一化，可計(jì)算歐式距離，找出距離最小的為獲勝節(jié)點(diǎn)j*。（4）調(diào)整權(quán)值以j*為中心，對優(yōu)勝域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：（6）更新鄰域Nj*(t)及學(xué)習(xí)率η(t)

Nj*(t)=INT[Nj*(0)(1-t/T)]t——當(dāng)前學(xué)習(xí)次數(shù)；T——預(yù)先設(shè)定的最大訓(xùn)練次數(shù).η(t)=η(0)[1-t/T]——網(wǎng)絡(luò)在t時(shí)刻的學(xué)習(xí)率.

Nj*(t)和η(t)不限于上述形勢，也有其他形式。（5）檢查總模式數(shù)（P）是否全部參與了學(xué)習(xí)，否則返（2）Kohonen算法

Nj*(t)可以說是墨西哥帽函數(shù)的一種具體體現(xiàn)形勢，更新原則是使鄰域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩?，從而，保證當(dāng)獲勝節(jié)點(diǎn)對某一類模式產(chǎn)生最大響應(yīng)時(shí)，其臨近節(jié)點(diǎn)也能產(chǎn)生較大的響應(yīng)。鄰域的形狀可以是圓、正方形或六邊形等。當(dāng)鄰域是半徑為d圓時(shí),鄰域中的神經(jīng)元描述為:若25個(gè)神經(jīng)元排列成5×5二維格柵拓?fù)浣Y(jié)構(gòu),第13神經(jīng)的指定優(yōu)勝域半徑的區(qū)域內(nèi)神經(jīng)元為:d=1d=2Kohonen算法（7）令t=t+1,返回步驟（2）（8）結(jié)束檢查

判斷η(t)是否衰減到某預(yù)定精度或判斷t=T.Kohonen算法Kohonen學(xué)習(xí)算法程序流程4.2.4SOM網(wǎng)絡(luò)的功能SOM網(wǎng)絡(luò)的功能特點(diǎn)之一是：保序映射，即能將輸入空間的樣本模式類有序地映射在輸出層上。例動(dòng)物屬性特征映射1989年Kohonen給出一個(gè)SOM網(wǎng)的著名應(yīng)用實(shí)例，即把不同的動(dòng)物按其屬性映射到二維輸出平面上，使屬性相似的動(dòng)物在SOM網(wǎng)輸出平面上的位置也相近。訓(xùn)練集選了16種動(dòng)物，每種動(dòng)物用一個(gè)29維向量來表示。前16個(gè)分量構(gòu)成符號向量（不同的動(dòng)物進(jìn)行16取1編碼），后13個(gè)分量構(gòu)成屬性向量，描述動(dòng)物的13種屬性的有或無（用1或0表示）。16種動(dòng)物的屬性向量（29維向量的后13個(gè)分量）動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿0000000111111111毛0000000111111111蹄0000000000000111動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛鬃毛0000000000000110羽毛1111111000000000獵0000111101111000跑0000000011011110飛1001111000000000泳0011000000000000

SOM網(wǎng)輸出平面上有10×10個(gè)神經(jīng)元，16個(gè)動(dòng)物模式輪番輸入訓(xùn)練，最后輸出平面呈現(xiàn)16種動(dòng)物屬性特征映射，屬性相似的挨在一起，實(shí)現(xiàn)了特征的有序分布。16種動(dòng)物的屬性向量（29維向量的后13個(gè)分量）10×10神經(jīng)元X向量（29維）前16個(gè)分量（16取1，表達(dá)動(dòng)物種類。）后13個(gè)分量（表達(dá)動(dòng)物屬性）鴨鵝鴿母雞馬斑馬牛隼狼虎獅貓狗狐貓頭鷹鷹動(dòng)物屬性特征映射

SOM網(wǎng)的功能特點(diǎn)之二是數(shù)據(jù)壓縮。

將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維空間。如上例中輸入樣本空間為29維，通過SOM網(wǎng)后壓縮為二維平面的數(shù)據(jù)。

SOM網(wǎng)的功能特點(diǎn)之三是特征抽取。（規(guī)律的發(fā)現(xiàn)）

在高維模式空間，很多模式的分布具有復(fù)雜的結(jié)構(gòu)，從數(shù)據(jù)觀察很難發(fā)現(xiàn)其內(nèi)在規(guī)律。當(dāng)通過SOM網(wǎng)映射到低維輸出空間后，其規(guī)律往往一目了然，實(shí)現(xiàn)某種特征抽取的映射。即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加清晰地表達(dá)，因此映射的意義不僅僅是單純的數(shù)據(jù)壓縮，更是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動(dòng)物實(shí)現(xiàn)了聚類分布的特點(diǎn)。

SOM網(wǎng)有許多應(yīng)用實(shí)例：解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。SVM支持向量機(jī)

支持向量機(jī)(SupportVectorMachine,SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力。SVM支持向量機(jī)

SVM有如下主要幾個(gè)特點(diǎn)：(1)非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射；(2)對特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心；(3)支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。(4)SVM是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”,大大簡化了通常的分類和回歸等問題。SVM支持向量機(jī)

(5)SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。(6)少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:①增、刪非支持向量樣本對模型沒有影響;②支持向量樣本集具有一定的魯棒性;③有些成功的應(yīng)用中,SVM方法對核的選取不敏感SVM支持向量機(jī)——線性分類器

假定大小為n

的訓(xùn)練樣本集{(xi,yi),i=…,n

},由二類別組成,如果xi∈Rd屬于第1類標(biāo)記為正(yi=1),如果屬于第2類,則標(biāo)記為負(fù)（yi=-1).學(xué)習(xí)的目標(biāo)是構(gòu)造一判別函數(shù),將檢測數(shù)據(jù)據(jù)盡可能正確地分類.針對訓(xùn)練樣本集為線性和非線性兩種情況分別討論.支持向量機(jī)分類器SVM線性可分情況 先考慮二維情況下的線性可分的兩類樣本(○,×),如圖所示,存在很多條可能的分類線能夠?qū)⒂?xùn)練樣本分開。顯然分類線a最好，因?yàn)樗h(yuǎn)離每一類樣本，風(fēng)險(xiǎn)小。而其他的分類線離樣本較近，只要樣本有較小的變化，將會(huì)導(dǎo)致錯(cuò)誤的分類結(jié)果。因此分類線a是代表一個(gè)最優(yōu)的線性分類器。所謂最優(yōu)分類線就是要求分類線不但能將兩類無誤地分開，而且要使兩類的分類間隔最大。圖中H是最優(yōu)分類線，H1和H2分別為過各類樣本中離分類線最近的點(diǎn)且平行于分類線的直線，H1和H2之間的距離叫做兩類的分類空隙或者分類間隔(margin)。 將二維推廣到高維，最優(yōu)分類線就成為最優(yōu)分類超平面。abcHH1H2SVM線性分類器線性可分情況 設(shè)線性可分樣本集為(xi,yi),i=1,2,…,n,x∈Rd,y∈{+1,-1}是類別號。d維空間中線性判別函數(shù)的一般形式為g(x)=wTx+b，則分類超平面方程為：

wTx+b＝0

其中，w為分類超平面的法線，是可調(diào)的權(quán)值向量；b為偏置，決定相對原點(diǎn)的位置。當(dāng)兩類樣本是線性可分時(shí)，滿足條件：

(wTxi)+b≥+1 yi

=+1 (wTxi)+b≤-1 yi

=-1

Z1線性可分情況如果存在分類超平面使得g(x)=wTx+b=0,wTx+b=0ω1ω2SVM線性分類器點(diǎn)到平面的距離由于w是可以按比例改變的，因此可以縮放w

和b使得在ω1類g(x)=1,和ω2類g(x)=-1，可以用方程表示為

1、存在一個(gè)間隔，滿足2、要求滿足SVM線性分類器g(x)=1和g(x)=-1兩條直線間的距離下面是數(shù)學(xué)計(jì)算問題，對于每一個(gè)xi,yi（對于ω1為+1,對于ω2為-1）表示相應(yīng)類的標(biāo)識(shí)器。要使間隔2/||w||最大，實(shí)際上就是要||w||最小，即這是一個(gè)滿足一系列線性不等式條件的非線性（二次方程）最優(yōu)化問題。采用拉格朗日函數(shù)SVM線性分類器根據(jù)Karushi-Kuhn-Tucker條件以上最小化問題滿足以下條件：

={

1,

2,…,

N}T是拉格朗日乘子組成的向量。SVM線性分類器這里可以看出采用||w||2平方的好處，可以將||w||變化成wTw,便于求導(dǎo)運(yùn)算。數(shù)對向量的導(dǎo)數(shù)

(wTw)’=2w通過L-函數(shù)對w求導(dǎo)計(jì)算得SVM線性分類器通過L-函數(shù)對b求導(dǎo)計(jì)算得拉格朗日乘子只能為0或正數(shù)，所以具有最優(yōu)解的向量參數(shù)w是Ns<=N個(gè)特征向量的線性組合，即其中i

不為0向量的線性組合這些αi

不為0所對應(yīng)的向量xi就是支持向量，這也是支持向量機(jī)的由來，這些向量點(diǎn)就是取得最大間隔分類兩個(gè)超平面上的點(diǎn)。兩個(gè)超平面任何一方的支持向量滿足：SVM線性分類器前面我們通過拉格朗日函數(shù)對w

和b求導(dǎo)得到兩個(gè)約束:把這兩個(gè)等式和拉格朗日函數(shù)結(jié)合起來，可以把w帶入拉格朗日函數(shù)L,SVM線性分類器SVM線性分類器現(xiàn)在求拉格朗日乘子i

就是求凸函數(shù)L

的最大值，即條件約束SVM線性分類器i為與每個(gè)樣本對應(yīng)的Lagrange

乘子.這是一個(gè)不等式約束下二次函數(shù)尋優(yōu)的問題,存在唯一解。

容易證明,解中將只有一部分(通常是少部分)i

不為零,對應(yīng)的樣本就是支持向量.解上述問題后得到的最優(yōu)分類函數(shù)是.式中的求和實(shí)際上只對支持向量進(jìn)行.b*是分類閾值,可以用任一個(gè)支持向量滿足下式中的等號

求得,或通過兩類中任意一對支持向量取中值求得SVM線性分類器++●++++++不可分的類對于不可分的情況，上述討論不再有效，不存在超平面可以把兩類分開而沒有點(diǎn)落在分離帶內(nèi)如圖所示。++●●●●●●●●●●+++++●SVM線性不可分情況一般訓(xùn)練特征向量屬于下面三類中的一種：位于分割帶以外的向量。這類向量滿足：落在分離帶內(nèi)且正確分類的向量圖中方框內(nèi)的點(diǎn)，滿足：錯(cuò)誤分類的向量，圖中圓內(nèi)的點(diǎn)，滿足不等式：SVM線性不可分情況在不可分的情況下，這三種情況通過引進(jìn)ξi可以統(tǒng)一歸為同一約束問題，即對于第一類問題ξi=0，對于第二類問題0<ξi<=1，對于第三類問題1<ξi,帶內(nèi)但錯(cuò)誤在超平面另一側(cè)帶內(nèi)但正確帶外正確SVM線性不可分情況我們希望錯(cuò)分和落在分離帶內(nèi)的少,對嚴(yán)格的進(jìn)行放松條件即用滿足作為約束條件，所以ξi稱為松弛變量現(xiàn)在的優(yōu)化問題描述是：使分類間隔盡量大，但同時(shí)保證ξi>0的點(diǎn)盡量少.用數(shù)學(xué)術(shù)語表示等價(jià)于對代價(jià)函數(shù)J的最小化，即其中ξ是參數(shù)ξi組成的向量，而I(ξi)代表帶內(nèi)向量計(jì)數(shù)，即SVM線性不可分情況參數(shù)C是一個(gè)正常數(shù)，用來控制兩個(gè)競爭條件的相對影響，由于I(ξi)是一個(gè)不連續(xù)的量優(yōu)化求導(dǎo)困難，所以選擇一個(gè)最接近的代價(jià)函數(shù)進(jìn)行優(yōu)化，不可分類的優(yōu)化問題變成

SVM線性不可分的情況這里的(ξi)實(shí)際上帶內(nèi)點(diǎn)到各自超平面的距離，將上述2個(gè)約束條件加入代價(jià)函數(shù)獲得相應(yīng)的拉格朗日函數(shù)表示為：應(yīng)用Karush-Kuhn-Tucker條件為有有有SVM線性不可分的情況此外還有約束

相關(guān)的Wolfe二元表達(dá)式為SVM線性不可分的情況將上面的條件帶入拉格朗日函數(shù)并整理可得滿足最大的拉格朗日常數(shù)條件約束

，

從上面的分析可以看出支持向量機(jī)用于兩類別的分類最后轉(zhuǎn)化為確定約束條件下拉格朗日乘子αi.公式形式上與線性可分是一致的,所不同的是,這里αi的約束條件是0=<αi

＜=CSVM線性不可分的情況線性不可分的核函數(shù)方法 對于線性不可分（非線性）問題：采用一個(gè)非線性變換φ(x)把輸入數(shù)據(jù)映射到一個(gè)高維特征空間，然后在高維特征空間進(jìn)行線性分類，最后再映射回到原空間就成為輸入空間的非線性分類。 考慮到可能存在一些樣本不能被分離超平面分離，增加一個(gè)松弛變量ξ，優(yōu)化問題為： 約束為

其中，C為一常數(shù)，起控制對錯(cuò)分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯(cuò)分樣本的比例與算法復(fù)雜度之間的折衷。C值越大，表示主要把重點(diǎn)放在減少分類錯(cuò)誤上，C值越小，表示主要把重點(diǎn)放在分離超平面，避免過學(xué)習(xí)問題。線性不可分的核函數(shù)方法

Lagrange函數(shù)定義如下： 式中，αi≥0,βi≥0。線性不可分的核函數(shù)方法

分別對w，b和ξi

求偏微分并置0，得

帶入Lagrange函數(shù)，得優(yōu)化問題的對偶形式： 在約束條件：

下，求下列函數(shù)的最大值： 特征空間的維數(shù)非常高,在大多數(shù)情況下難以直接在特征空間計(jì)算最優(yōu)分類面。支持向量機(jī)通過定義核函數(shù)(KernelFunction)方法將這一問題轉(zhuǎn)化到輸入空間進(jìn)行計(jì)算： 假設(shè)有非線性映射φ:Rn→H

將輸入空間的樣本映射到高維特征空間H中，當(dāng)在特征空間構(gòu)造最優(yōu)分類面時(shí),訓(xùn)練算法僅使用特征空間的點(diǎn)積，即φ(xi)Tφ(xj)。所以，只要構(gòu)造一個(gè)函數(shù)K()使得K(xi,xj)=φ(xi)Tφ(xj),這樣，在高維空間中實(shí)際上只需進(jìn)行內(nèi)積計(jì)算，不必知道變換φ的形式。

線性不可分的核函數(shù)方法根據(jù)泛函的有關(guān)理論，只要一種函數(shù)K(x,xi)滿足Mercer條件，它就對應(yīng)某一變換空間的內(nèi)積。滿足Mercer條件的內(nèi)積函數(shù)K(x,xi)稱為核函數(shù)，常用的核函數(shù)主要有： 高斯徑向基函數(shù)：

神經(jīng)網(wǎng)絡(luò)函數(shù)：d次多項(xiàng)式：線性不可分的核函數(shù)方法

優(yōu)化問題變?yōu)椋?/p>

約束條件： 求下列函數(shù)的最大值 對應(yīng)的分類函數(shù)為：線性不可分的核函數(shù)方法…K(x1,x)…K(x2,x)K(xs,x)α1y1α2y2αsysy權(quán)值wi=αiyi基于s個(gè)支持向量x1,x2,…,Xs的非線性變換（內(nèi)積）輸入向量xxdx1x2線性不可分的核函數(shù)方法支持向量機(jī)的學(xué)習(xí)算法①給出一組輸入樣本xi,i=1,2,…,n及其對應(yīng)的期望輸出yi∈{+1,-1}；②在約束條件：下求解下面函數(shù)的最大值，得到；③計(jì)算： 其中xs為一個(gè)特定的支持向量；④ 對于待分類向量x，選擇某一特定類型的核函數(shù)K(x,xi),計(jì)算： 為+1或-1，決定x屬于哪一類。線性不可分的核函數(shù)方法-歸納 支持向量機(jī)求解實(shí)際是二次規(guī)劃問題，經(jīng)典的解法有積極方集法、對偶方法、內(nèi)點(diǎn)算法等。當(dāng)訓(xùn)練樣本增多時(shí)，這些算法便面臨“維數(shù)災(zāi)難”將導(dǎo)致無法訓(xùn)練，近年來許多學(xué)者提出了多種算法來解決對偶尋優(yōu)問題。1、塊算法 選擇一部分樣本構(gòu)成工作樣本集，在工作樣本集上使用通用的優(yōu)化算法訓(xùn)練數(shù)據(jù)。算法保持了支持向量而剔除其中的非支持向量，并用訓(xùn)練結(jié)果對剩余樣本進(jìn)行檢驗(yàn)，將不符合訓(xùn)練結(jié)果的樣本與本次結(jié)果的支持向量合并成為一個(gè)新的工作樣本集，重新訓(xùn)練，如此重復(fù)直至獲得最優(yōu)結(jié)果。當(dāng)支持向量的數(shù)目遠(yuǎn)遠(yuǎn)小于訓(xùn)練樣本數(shù)目時(shí)，塊算法能夠大大提高運(yùn)算速度。支持向量機(jī)的學(xué)習(xí)算法2、分解算法 分解算法把問題分解成為固定樣本數(shù)的子問題，工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，每次只針對工作集中固定樣本個(gè)數(shù)進(jìn)行訓(xùn)練。在對工作集進(jìn)行優(yōu)化訓(xùn)練后，該方法只更新乘子αi

的一個(gè)固定大小的子集，其他保持不變。即每當(dāng)一個(gè)新樣本加入到工作集中，工作集中另一個(gè)樣本要被移走，即使支持向量的個(gè)數(shù)超過工作樣本集的大小也不改變工作樣本集的規(guī)模。然后再進(jìn)行優(yōu)化訓(xùn)練，重復(fù)進(jìn)行。該方法關(guān)鍵是如何選擇一種最優(yōu)工作集，使得對應(yīng)的二次規(guī)劃子問題的優(yōu)化成為整個(gè)目標(biāo)函數(shù)的改進(jìn)。支持向量機(jī)的學(xué)習(xí)算法SVM支持向量機(jī)序貫最小優(yōu)化算法（SMO）背景：SMO（Sequentialminimaloptimization）順序最小優(yōu)化算法是一種用于支持向量機(jī)訓(xùn)練優(yōu)化算法。由微軟研究院的約翰·普萊特（JohnPlatt）發(fā)明于1998年，目前被廣泛使用于SVM的訓(xùn)練過程中，并在通行的SVM庫libsvm

中得到實(shí)現(xiàn)。1998年，SMO算法發(fā)表在SVM研究領(lǐng)域內(nèi)引起了轟動(dòng)，因?yàn)橄惹翱捎玫腟VM訓(xùn)練方法必須使用復(fù)雜的方法，并需要昂貴的第三方二次規(guī)劃（QP）工具。而SMO算法較好地避免了這一問題。成為最快的二次規(guī)劃優(yōu)化算法。關(guān)于SMO的資料就是他本人寫的《SequentialMinimalOptimization-AFastAlgorithmforTrainingSupportVectorMachines》了。

SMO 該算法是將分解算法推向極致得出的，每次迭代僅優(yōu)化兩個(gè)點(diǎn)的最小子集(工作集中只有兩個(gè)樣本)。該算法的優(yōu)點(diǎn)在于兩個(gè)數(shù)據(jù)點(diǎn)的優(yōu)化問題可以獲得解析解，從而不需要將QP（QuadraticProgramming）二次規(guī)劃優(yōu)化算法作為算法的一部分。它的工作集的選擇不是傳統(tǒng)的最陡下降法，而是采用啟發(fā)式，通過兩個(gè)嵌套循環(huán)來尋找優(yōu)化的樣本變量。在外循環(huán)尋找不滿足要求的樣本，然后在內(nèi)循環(huán)再選擇另一個(gè)樣本，進(jìn)行一次優(yōu)化，然后再循環(huán)進(jìn)行下一次優(yōu)化，直到全部樣本都滿足優(yōu)化條件。SVM支持向量機(jī)序貫最小優(yōu)化算法（SMO），第一步選取一對αi

和αj

，選取方法使用啟發(fā)式方法（后面講）。第二步，固定除αi

和αj

之外的其他參數(shù)，確定W極值條件下的αi

，αj

由αi

表示。SMO之所以高效就是因?yàn)樵诠潭ㄆ渌麉?shù)后，對一個(gè)參數(shù)優(yōu)化過程很高效。序貫最小優(yōu)化算法（SMO）支持向量機(jī)解決非線性分類，最后歸結(jié)為一個(gè)對偶函數(shù)最后的優(yōu)化問題，原式為：

這個(gè)是由拉格朗日方法然后求偏導(dǎo)列式帶入核函數(shù)得到的目標(biāo)函數(shù)，受到以下條件約束：s.t.序貫最小優(yōu)化算法（SMO）序貫最小優(yōu)化算法（SMO）假設(shè)我們選取了初始值

{α1,α2}

滿足了問題中的約束條件。接下來，我們固定{α3,α4,…,αn}，這樣W就是α1,

和α2

的函數(shù)。并且

α1

和α2

滿足條件：由于{α1,α