機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)部分

機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)部分第1頁(yè)，共158頁(yè)，2023年，2月20日，星期五機(jī)器學(xué)習(xí)——人工神經(jīng)網(wǎng)絡(luò)1、概述人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworks，簡(jiǎn)寫為ANNs）也簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)（NNs）或稱作連接模型（ConnectionistModel），是對(duì)人腦或自然神經(jīng)網(wǎng)絡(luò)（NaturalNeuralNetwork）若干基本特性的抽象和模擬。人工神經(jīng)網(wǎng)絡(luò)以對(duì)大腦的生理研究成果為基礎(chǔ)的，其目的在于模擬大腦的某些機(jī)理與機(jī)制，實(shí)現(xiàn)某個(gè)方面的功能。國(guó)際著名的神經(jīng)網(wǎng)絡(luò)研究專家，第一家神經(jīng)計(jì)算機(jī)公司的創(chuàng)立者與領(lǐng)導(dǎo)人HechtNielsen給人工神經(jīng)網(wǎng)絡(luò)下的定義就是：“人工神經(jīng)網(wǎng)絡(luò)是由人工建立的以有向圖為拓?fù)浣Y(jié)構(gòu)的動(dòng)態(tài)系統(tǒng)，它通過對(duì)連續(xù)或斷續(xù)的輸入作狀態(tài)相應(yīng)而進(jìn)行信息處理?！?/p>

第2頁(yè)，共158頁(yè)，2023年，2月20日，星期五2、人工神經(jīng)網(wǎng)絡(luò)的提出人工神經(jīng)網(wǎng)絡(luò)是對(duì)人類大腦系統(tǒng)的一階特性的一種描述。簡(jiǎn)單地講，它是一個(gè)數(shù)學(xué)模型，可以用電子線路來實(shí)現(xiàn)，也可以用計(jì)算機(jī)程序來模擬，是人工智能研究的一種方法。第3頁(yè)，共158頁(yè)，2023年，2月20日，星期五3、人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

人工神經(jīng)網(wǎng)絡(luò)的以下幾個(gè)突出的優(yōu)點(diǎn)使它近年來引起人們的極大關(guān)注：

(1)可以充分逼近任意復(fù)雜的非線性關(guān)系；

(2)所有定量或定性的信息都等勢(shì)分布貯存于網(wǎng)絡(luò)內(nèi)的各神經(jīng)元，故有很強(qiáng)的魯棒性和容錯(cuò)性；

(3)采用并行分布處理方法，使得快速進(jìn)行大量運(yùn)算成為可能；

(4)可學(xué)習(xí)和自適應(yīng)不知道或不確定的系統(tǒng)；

(5)能夠同時(shí)處理定量（函數(shù)逼近）、定性（分類判別）知識(shí)。第4頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、生物神經(jīng)元模型1、生物神經(jīng)網(wǎng)絡(luò)由樹突軸突突觸其他神經(jīng)元構(gòu)成軸突——細(xì)胞體突起的最長(zhǎng)的外伸管狀纖維稱為軸突。軸突最長(zhǎng)可達(dá)1米以上。軸突是把神經(jīng)元興奮的信息傳出到其它神經(jīng)元的出口。

樹突——細(xì)胞體的伸延部分產(chǎn)生的分枝稱為樹突，樹突是接受從其它神經(jīng)元傳入的信息的入口。突觸——是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元之間相聯(lián)系并進(jìn)行信息傳送的結(jié)構(gòu)第5頁(yè)，共158頁(yè)，2023年，2月20日，星期五3、生物神經(jīng)元模型神經(jīng)元的六個(gè)基本特征：1）神經(jīng)元相互聯(lián)接，呈網(wǎng)狀結(jié)構(gòu)；2）神經(jīng)元之間的聯(lián)接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱；3）神經(jīng)元之間的聯(lián)接強(qiáng)度是可以隨訓(xùn)練改變的；4）信號(hào)可以是起刺激作用的，也可以是起抑制作用的；5）一個(gè)神經(jīng)元接受的信號(hào)的累積效果決定該神經(jīng)元的狀態(tài)；6)每個(gè)神經(jīng)元可以有一個(gè)“閾值”。第6頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、神經(jīng)元的MP模型MP-模型如圖所示，神經(jīng)元由輸入量x1，x2，…，

xn，對(duì)應(yīng)每個(gè)輸入量的權(quán)值wi、門限和輸出y組成，f為傳遞函數(shù)x1x2xnfy…w1w2wnf(v)v第7頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、一般神經(jīng)元模型第8頁(yè)，共158頁(yè)，2023年，2月20日，星期五一組連接（對(duì)應(yīng)于生物神經(jīng)元的突觸），連接強(qiáng)度由各連接上的權(quán)值表示，權(quán)值為正表示激活，為負(fù)表示抑制。一個(gè)求和單元，用于求取各輸入信號(hào)的加權(quán)和（線性組合).一個(gè)非線性激活函數(shù)(作用函數(shù))，起非線性映射作用并將神經(jīng)元拘出幅度限制在一定范圍內(nèi).此外還有一個(gè)閾值4、一般神經(jīng)元模型第9頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、一般神經(jīng)元模型兩種閾值，一種為負(fù)起抑制作用，一種為偏置第10頁(yè)，共158頁(yè)，2023年，2月20日，星期五激活函數(shù)的作用1、控制輸入對(duì)輸出的激活作用；2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；3、將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。第11頁(yè)，共158頁(yè)，2023年，2月20日，星期五幾種常見的激活函數(shù)1、閾值函數(shù)．

M-P模型第12頁(yè)，共158頁(yè)，2023年，2月20日，星期五2，分段線性函數(shù)它類似于一個(gè)放大系數(shù)為1的非線性放大器，當(dāng)工作于線性區(qū)時(shí)它是一個(gè)線性組合器，放大系數(shù)趨于無窮大時(shí)變成一個(gè)閾值單元。幾種常見的激活函數(shù)第13頁(yè)，共158頁(yè)，2023年，2月20日，星期五3。Sigmoid函數(shù)雙曲正切函數(shù)這類具有平滑和漸近性，并保持單調(diào)性．幾種常見的激活函數(shù)第14頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)的基本模型第15頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型1、前向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（feed-forwardNetworks）所謂前向網(wǎng)絡(luò)，是各神經(jīng)元接收前一層的輸入，并輸出給下一層，沒有反饋。節(jié)點(diǎn)分為兩類，即輸入節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)，每一個(gè)計(jì)算節(jié)點(diǎn)可有多個(gè)輸入，但只有一個(gè)輸出，通常前饋型網(wǎng)絡(luò)可分為不同的層，第i層的輸入只與第i-1層的輸出相連，輸入與輸出節(jié)點(diǎn)與外界相連，而其他中間層則稱為隱層。第16頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型2、反饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（feedbackneuralnetwork）反饋神經(jīng)網(wǎng)絡(luò)是一種反饋動(dòng)力學(xué)系統(tǒng)。在這種網(wǎng)絡(luò)中，每個(gè)神經(jīng)元同時(shí)將自身的輸出信號(hào)作為輸入信號(hào)反饋給其他神經(jīng)元，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能，如果將李雅普諾夫函數(shù)定義為尋優(yōu)函數(shù)，Hopfield神經(jīng)網(wǎng)絡(luò)還可以用來解決快速尋優(yōu)問題。第17頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型3、隨機(jī)型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（RandomNeuralNetworks）

前向型和反饋型的網(wǎng)絡(luò)是確定性的網(wǎng)絡(luò)，即給定輸入則輸出是確定的，但實(shí)際上按照神經(jīng)生理學(xué)的觀點(diǎn),生物神經(jīng)元本質(zhì)上是隨機(jī)的.因?yàn)樯窠?jīng)網(wǎng)絡(luò)重復(fù)地接受相同的刺激,其響應(yīng)并不相同,這意味著隨機(jī)性在生物神經(jīng)網(wǎng)絡(luò)中起著重要的作用.隨機(jī)神經(jīng)網(wǎng)絡(luò)正是仿照生物神經(jīng)網(wǎng)絡(luò)的這種機(jī)理進(jìn)行設(shè)計(jì)的.隨機(jī)神經(jīng)網(wǎng)絡(luò)一般有兩種:一種是采用隨機(jī)性神經(jīng)元激活函數(shù);另一種是采用隨機(jī)型加權(quán)連接,即是在普通人工神經(jīng)網(wǎng)絡(luò)中加入適當(dāng)?shù)碾S機(jī)噪聲。第18頁(yè)，共158頁(yè)，2023年，2月20日，星期五4、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型3、自組織神經(jīng)網(wǎng)絡(luò)（SelfOrganizing

neural

Networks）自組織神經(jīng)網(wǎng)絡(luò)是一種無導(dǎo)師學(xué)習(xí)方式，更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要特點(diǎn)是通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓寬神經(jīng)網(wǎng)絡(luò)在模式識(shí)別與分類方面的應(yīng)用。輸入模式輸出模式競(jìng)爭(zhēng)層第19頁(yè)，共158頁(yè)，2023年，2月20日，星期五人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)ANN研究中的核心問題：Howtodeterminetheweights(權(quán)值)人工神經(jīng)網(wǎng)絡(luò)最具有吸引力的特點(diǎn)是它的學(xué)習(xí)能力。1962年，Rosenblatt給出了人工神經(jīng)網(wǎng)絡(luò)著名的學(xué)習(xí)定理：人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它可以表達(dá)的任何東西。人工神經(jīng)網(wǎng)絡(luò)的表達(dá)能力大大地限制了它的學(xué)習(xí)能力。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程就是對(duì)它的訓(xùn)練過程

第20頁(yè)，共158頁(yè)，2023年，2月20日，星期五有導(dǎo)師學(xué)習(xí)(SupervisedLearning)與有導(dǎo)師訓(xùn)練(SupervisedTraining)相對(duì)應(yīng)。輸入向量與其對(duì)應(yīng)的輸出向量構(gòu)成一個(gè)“訓(xùn)練對(duì)”。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：

1）

從樣本集合中取一個(gè)樣本（Ai，Di）；

2）

計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O；

3）

求E=Di-O；

4）

根據(jù)E調(diào)整權(quán)矩陣W；

5）對(duì)每個(gè)樣本重復(fù)上述過程，直到對(duì)整個(gè)樣本集來說，誤差不超過規(guī)定范圍。監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))第21頁(yè)，共158頁(yè)，2023年，2月20日，星期五監(jiān)督學(xué)習(xí)(有教師學(xué)習(xí))第22頁(yè)，共158頁(yè)，2023年，2月20日，星期五無導(dǎo)師學(xué)習(xí)(UnsupervisedLearning)與無導(dǎo)師訓(xùn)練(UnsupervisedTraining)相對(duì)應(yīng)抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存于網(wǎng)絡(luò)中。非監(jiān)督學(xué)習(xí)(無導(dǎo)師學(xué)習(xí))第23頁(yè)，共158頁(yè)，2023年，2月20日，星期五強(qiáng)化學(xué)習(xí)（reinforcementlearning再勵(lì)學(xué)習(xí)）

這種學(xué)習(xí)介于上述兩種情況之間，外部環(huán)境對(duì)系統(tǒng)構(gòu)出結(jié)果只給出評(píng)價(jià)（獎(jiǎng)或懲）而不是給出正確答案，學(xué)習(xí)系統(tǒng)通過強(qiáng)化那些受獎(jiǎng)勵(lì)的動(dòng)作來改善自身性能第24頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則1）直接設(shè)計(jì)計(jì)算例如Hopfield作優(yōu)化計(jì)算2）學(xué)習(xí)得到,即通過訓(xùn)練(training)第25頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則a)誤差糾正學(xué)習(xí)令為輸入時(shí)神經(jīng)元在n時(shí)刻的實(shí)際輸出，表示相應(yīng)的應(yīng)有的輸出（由訓(xùn)練樣本給出）誤差：訓(xùn)練指標(biāo)：權(quán)值調(diào)整：第26頁(yè)，共158頁(yè)，2023年，2月20日，星期五b)Hebb學(xué)習(xí)

神經(jīng)心理學(xué)家Hebb提出的學(xué)習(xí)規(guī)則可歸結(jié)為”當(dāng)某一突觸（連接）兩端的神經(jīng)元的激活同步（同為激括或同為抑制）時(shí)，該連接的強(qiáng)度應(yīng)增強(qiáng)，反之則應(yīng)減弱”。

Heb規(guī)則：權(quán)值調(diào)整函數(shù)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第27頁(yè)，共158頁(yè)，2023年，2月20日，星期五c)競(jìng)爭(zhēng)學(xué)習(xí)顧名思義，在竟?fàn)帉W(xué)習(xí)時(shí)網(wǎng)絡(luò)各輸出單元互相竟?fàn)?，最后達(dá)到只有一個(gè)最強(qiáng)者激活。最常見的一種情況是輸出神經(jīng)元之間有側(cè)向抑制性連接，這樣眾多輸出單元中如有某一單元較強(qiáng)，則它將獲勝并抑制其他單元，最后只有比較強(qiáng)者處于激活狀態(tài)。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第28頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP反向傳播神經(jīng)網(wǎng)絡(luò)BP（BackPropagation）網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用誤差最速下降法，通過誤差反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hidelayer)和輸出層(outputlayer)。第29頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP反向傳播神經(jīng)網(wǎng)絡(luò)Rumelhart，McClelland于1985年提出了BP網(wǎng)絡(luò)的誤差反向后傳BP(BackPropagation)學(xué)習(xí)算法BP算法基本原理利用輸出后的誤差來估計(jì)輸出層的直接前導(dǎo)層的誤差，再用這個(gè)誤差估計(jì)更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計(jì)。J.McClellandDavidRumelhart

第30頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)模型多層BP神經(jīng)網(wǎng)絡(luò)（這里是4層）第31頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)在第n次迭代中輸出端的第j個(gè)單元的輸出為,則該單元的誤差信號(hào)為定義單元j的平方誤差為,則輸出端總的平方誤差的值為:其中c包括所有輸出單元,設(shè)訓(xùn)練集中樣本總數(shù)為N,則平方誤差的均值為第32頁(yè)，共158頁(yè)，2023年，2月20日，星期五采用誤差下降法，就是根據(jù)誤差E(n)變化情況調(diào)整權(quán)值w，另一個(gè)角度說就是，權(quán)值w變化對(duì)誤差E信號(hào)有何影響。即要求取，如果為正，表示隨著w增加E增加，顯然應(yīng)該減少w,如果為負(fù)，表示隨著w增加E減少，當(dāng)然應(yīng)該增加w,即按下列算式調(diào)節(jié)，η是比例因子，也稱學(xué)習(xí)效率：BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)故取w為:故問題的關(guān)鍵在于如何求第33頁(yè)，共158頁(yè)，2023年，2月20日，星期五誤差前級(jí)輸入BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)

設(shè)E（n)為學(xué)習(xí)的目標(biāo)函數(shù),學(xué)習(xí)的目的是使E（n)達(dá)到最小.下面就逐個(gè)樣本學(xué)習(xí)的情況推導(dǎo)BP算法.上圖表示第j個(gè)單元接收到前一層i信號(hào)并產(chǎn)生誤差信號(hào)的過程求和傳遞函數(shù)實(shí)際輸出期望函數(shù)誤差前級(jí)輸入權(quán)重前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入誤差前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入前級(jí)輸入第34頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)第j節(jié)點(diǎn)匯聚輸入的加權(quán)和為定義傳遞函數(shù)為φ(.),則節(jié)點(diǎn)j的輸出為:求誤差E(n)對(duì)各權(quán)值wji(n)的偏導(dǎo)第35頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)由于故有:按梯度下降法，權(quán)值的修正量為：其中負(fù)號(hào)表示修正量按梯度下降方式，δj(n)稱為局部梯度其記為：第36頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)對(duì)兩種節(jié)點(diǎn)進(jìn)行討論1、單元j是輸出節(jié)點(diǎn)2、單元j是隱節(jié)點(diǎn)其結(jié)構(gòu)如下圖所示神經(jīng)元k神經(jīng)元j第37頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)將此式對(duì)yj(n)求導(dǎo)得：2、單元j是隱節(jié)點(diǎn)其結(jié)構(gòu)如下圖所示j節(jié)點(diǎn)后面是輸出節(jié)點(diǎn)k,則誤差平方和由于所以第38頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)上式式對(duì)yj(n)求導(dǎo)得：而其中q為單元的輸入端個(gè)數(shù)所以有代入式得：即當(dāng)j為隱層節(jié)點(diǎn)時(shí)，其局部梯度等于下一層局部梯度加權(quán)和與激活函數(shù)的乘積。第39頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)(1)對(duì)于輸出節(jié)點(diǎn)j,δj(n)為與誤差信號(hào)ej(n)之積;總結(jié)以上推導(dǎo),對(duì)于節(jié)點(diǎn)j權(quán)值修正量可寫為

的計(jì)算有兩種情況:(2)對(duì)于隱節(jié)點(diǎn)j,δj(n)為與與后面一層的δk(n)加權(quán)和之積;第40頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)權(quán)值訓(xùn)練周期:

學(xué)習(xí)時(shí)每輸入一次全部訓(xùn)練樣本稱為一個(gè)訓(xùn)練周期,學(xué)習(xí)一個(gè)周期一個(gè)周期地進(jìn)行,直到目標(biāo)函數(shù)達(dá)到最小值或小于某一給定值.訓(xùn)練網(wǎng)絡(luò)有兩種方式:(1)每輸入一個(gè)樣本修改一次權(quán)值;(2)批處理方式,待組成一個(gè)訓(xùn)練周期的全部N個(gè)樣本都依此輸入后計(jì)算總的平均誤差:

權(quán)值調(diào)整:

其中

計(jì)算方法與前面一樣第41頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)BP算法的步驟如下:(1)初始化,選定一結(jié)構(gòu)合理的網(wǎng)絡(luò),置所有可調(diào)參數(shù)(權(quán)和閾值)為均勻分布的較小數(shù)值;(2)對(duì)每個(gè)輸入樣本做如下計(jì)算:

①前向計(jì)算

對(duì)

l層的j單元其中為前一層（l-1)的單元送來的工作信號(hào).i=0時(shí)第42頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)設(shè)單元j的傳遞函數(shù)（激活函數(shù)）為sigmoid函數(shù)，則

求導(dǎo):

當(dāng)l=1時(shí)，有若j屬于輸出層(l=L),第43頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)算法的推導(dǎo)②反向計(jì)算δ對(duì)輸出單元

③按下式修正權(quán)值（3）n=n+1輸入新的樣本(或新一周期樣本),直至Eav達(dá)到預(yù)定要求,訓(xùn)練時(shí)各周期中樣本的輸入順序要重新隨即排序。對(duì)隱層單元第44頁(yè)，共158頁(yè)，2023年，2月20日，星期五第45頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法學(xué)習(xí)的過程：神經(jīng)網(wǎng)絡(luò)在外界輸入樣本的刺激下不斷改變網(wǎng)絡(luò)的連接權(quán)值,以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。學(xué)習(xí)的本質(zhì)：對(duì)各連接權(quán)值的動(dòng)態(tài)調(diào)整學(xué)習(xí)規(guī)則：權(quán)值調(diào)整規(guī)則，即在學(xué)習(xí)過程中網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)變化所依據(jù)的一定的調(diào)整規(guī)則。第46頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法-算法思想學(xué)習(xí)的類型：有導(dǎo)師學(xué)習(xí)核心思想：將輸出誤差以某種形式通過隱層向輸入層逐層反傳學(xué)習(xí)的過程：信號(hào)的正向傳播誤差的反向傳播將誤差分?jǐn)偨o各層的所有單元－－－各層單元的誤差信號(hào)修正各單元權(quán)值第47頁(yè)，共158頁(yè)，2023年，2月20日，星期五6.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第一步，網(wǎng)絡(luò)初始化給各連接權(quán)值分別賦一個(gè)區(qū)間（-1，1）內(nèi)的隨機(jī)數(shù)，設(shè)定誤差函數(shù)e，給定計(jì)算精度值ε

和最大學(xué)習(xí)次數(shù)M。第二步,隨機(jī)選取第k個(gè)輸入樣本及對(duì)應(yīng)期望輸出第三步，計(jì)算隱含層各神經(jīng)元的輸入和輸出第48頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第四步，利用網(wǎng)絡(luò)期望輸出和實(shí)際輸出，計(jì)算誤差函數(shù)對(duì)輸出層的各神經(jīng)元的偏導(dǎo)數(shù)。第五步，利用隱含層到輸出層的連接權(quán)值、輸出層和隱含層的輸出計(jì)算誤差函數(shù)對(duì)隱含層各神經(jīng)元的偏導(dǎo)數(shù)。第六步，利用輸出層各神經(jīng)元和隱含層各神經(jīng)元的輸出來修正連接權(quán)值。第七步，利用隱含層各神經(jīng)元的和輸入層各神經(jīng)元的輸入修正連接權(quán)。第49頁(yè)，共158頁(yè)，2023年，2月20日，星期五6.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法第八步，計(jì)算全局誤差第九步，判斷網(wǎng)絡(luò)誤差是否滿足要求。當(dāng)誤差達(dá)到預(yù)設(shè)精度或?qū)W習(xí)次數(shù)大于設(shè)定的最大次數(shù)，則結(jié)束算法。否則，選取下一個(gè)學(xué)習(xí)樣本及對(duì)應(yīng)的期望輸出，返回到第三步，進(jìn)入下一輪學(xué)習(xí)。第50頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直觀解釋情況一直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)大于零時(shí)，權(quán)值調(diào)整量為負(fù)，實(shí)際輸出大于期望輸出，權(quán)值向減少方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。whoe>0，此時(shí)Δwho<0第51頁(yè)，共158頁(yè)，2023年，2月20日，星期五6.4.2BP網(wǎng)絡(luò)的標(biāo)準(zhǔn)學(xué)習(xí)算法BP算法直解釋情況二直觀表達(dá)當(dāng)誤差對(duì)權(quán)值的偏導(dǎo)數(shù)小于零時(shí)，權(quán)值調(diào)整量為正，實(shí)際輸出少于期望輸出，權(quán)值向增大方向調(diào)整，使得實(shí)際輸出與期望輸出的差減少。e<0,此時(shí)Δwho>0who第52頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)的特點(diǎn)非線性映射能力能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對(duì)供網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。泛化能力當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見過的非樣本數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為泛化能力。容錯(cuò)能力輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。第53頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)設(shè)BP神經(jīng)網(wǎng)絡(luò)有輸入層、隱層和輸出層三層結(jié)構(gòu)，其節(jié)點(diǎn)數(shù)分別為n1,n2,n3第54頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)設(shè)有Ｎ個(gè)訓(xùn)練樣本集Ｘ＝｛X1,X2,…,XN},Xi是n1維向量，將訓(xùn)練樣本按列排布，得到批輸入矩陣考慮到閾值θ，輸入矩陣增加一行-1，即將X擴(kuò)充成：第55頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)隱層有n2個(gè)節(jié)點(diǎn)，設(shè)輸入層與隱層節(jié)點(diǎn)間的權(quán)值矩陣為IW（含有閾值），則有則N個(gè)樣本的輸入加權(quán)求和v1矩陣為：第56頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法批訓(xùn)練的矩陣實(shí)現(xiàn)設(shè)隱層的傳遞函數(shù)（激活函數(shù))=1/(1+e-v),隱層輸出Y矩陣為：與隱層類似，對(duì)輸出層加權(quán)求和v2矩陣為：第57頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)設(shè)輸出層的傳遞函數(shù)（激活函數(shù))=1/(1+e-v),輸出O矩陣為：反向計(jì)算，誤差矩陣E為反向計(jì)算，輸出層的局部梯度第58頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)刪除隱層與輸出層的權(quán)矩陣HW的第一列有：計(jì)算隱層的局部梯度更新隱層與輸出層之間的權(quán)值矩陣HW第59頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的矩陣實(shí)現(xiàn)更新輸入層與隱層之間的權(quán)值矩陣：計(jì)算所有樣本批輸入后的誤差平方和判斷E<E閾值（如0.0001），網(wǎng)絡(luò)訓(xùn)練結(jié)束，保存權(quán)值IW和HW。第60頁(yè)，共158頁(yè)，2023年，2月20日，星期五6.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能函數(shù)名功能newff()生成一個(gè)前饋BP網(wǎng)絡(luò)tansig()雙曲正切S型(Tan-Sigmoid)傳輸函數(shù)logsig()對(duì)數(shù)S型(Log-Sigmoid)傳輸函數(shù)traingd()梯度下降BP訓(xùn)練函數(shù)第61頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能newff()功能建立一個(gè)前向BP網(wǎng)絡(luò)格式net=newff(PR，[S1S2...SN1]，{TF1TF2...TFN1}，BTF，BLF，PF)說明net為創(chuàng)建的新BP神經(jīng)網(wǎng)絡(luò)；PR為網(wǎng)絡(luò)輸入取向量取值范圍的矩陣；[S1S2…SNl]表示網(wǎng)絡(luò)隱含層和輸出層神經(jīng)元的個(gè)數(shù)；{TFlTF2…TFN1}表示網(wǎng)絡(luò)隱含層和輸出層的傳輸函數(shù)，默認(rèn)為‘tansig’；BTF表示網(wǎng)絡(luò)的訓(xùn)練函數(shù)，默認(rèn)為‘trainlm’；BLF表示網(wǎng)絡(luò)的權(quán)值學(xué)習(xí)函數(shù)，默認(rèn)為‘learngdm’；PF表示性能數(shù)，默認(rèn)為‘mse’。第62頁(yè)，共158頁(yè)，2023年，2月20日，星期五BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的MATLAB實(shí)現(xiàn)MATLAB中BP神經(jīng)網(wǎng)絡(luò)的重要函數(shù)和基本功能tansig()功能正切sigmoid激活函數(shù)格式a=tansig(n)說明雙曲正切Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(-1，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。logsig()功能對(duì)數(shù)Sigmoid激活函數(shù)格式a=logsig(N)說明對(duì)數(shù)Sigmoid函數(shù)把神經(jīng)元的輸入范圍從(-∞，+∞)映射到(0，1)。它是可導(dǎo)函數(shù)，適用于BP訓(xùn)練的神經(jīng)元。第63頁(yè)，共158頁(yè)，2023年，2月20日，星期五x1x2xixny1ykyq實(shí)際輸入x實(shí)際輸出y期望輸出d根據(jù)誤差e=d-y網(wǎng)絡(luò)權(quán)值w調(diào)節(jié)wBP神經(jīng)網(wǎng)絡(luò)算法的基本思想第64頁(yè)，共158頁(yè)，2023年，2月20日，星期五MATlABNN工具箱多層BP神經(jīng)網(wǎng)第65頁(yè)，共158頁(yè)，2023年，2月20日，星期五MATlABNN工具箱多層BP神經(jīng)網(wǎng)第66頁(yè)，共158頁(yè)，2023年，2月20日，星期五MATlABNNT傳遞函數(shù)類型第67頁(yè)，共158頁(yè)，2023年，2月20日，星期五net=newff([-12;05],[3,1],{'tansig','purelin'},'traingd');在MATLAB7.0下使用newff創(chuàng)建BP神經(jīng)網(wǎng)。例如我們創(chuàng)建一個(gè)2維輸入向量，具有3個(gè)隱層節(jié)點(diǎn)和一個(gè)輸出節(jié)點(diǎn)的3層結(jié)構(gòu)的BP神經(jīng)網(wǎng)絡(luò)：隱節(jié)點(diǎn)數(shù)輸出節(jié)點(diǎn)數(shù)BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真1、BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建隱層傳遞函數(shù)輸出層傳遞函數(shù)輸入分量范圍訓(xùn)練方式第68頁(yè)，共158頁(yè)，2023年，2月20日，星期五2、BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

當(dāng)確定完神經(jīng)網(wǎng)絡(luò)的具體結(jié)構(gòu)—輸入向量維數(shù)、隱層節(jié)點(diǎn)數(shù)、輸出節(jié)點(diǎn)數(shù)，就要采用一定的訓(xùn)練方法對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，目前應(yīng)用最多的是—梯度下降法。在Matlab神經(jīng)網(wǎng)絡(luò)工具箱中，設(shè)置了這一算法。并通過train()函數(shù)來實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練?；菊Z(yǔ)法為：Trained_net=train(net,P,T)待訓(xùn)練的網(wǎng)完成的訓(xùn)練網(wǎng)輸入的特征向量訓(xùn)練目標(biāo)BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真第69頁(yè)，共158頁(yè)，2023年，2月20日，星期五仿真是對(duì)已經(jīng)訓(xùn)練完成的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行應(yīng)用模擬，以檢查神經(jīng)網(wǎng)絡(luò)的響應(yīng)性能。即當(dāng)網(wǎng)絡(luò)權(quán)值w,偏移值確定后，通過給定輸入Pgiven，檢查實(shí)際輸出y與期望是否相符。對(duì)于仿真結(jié)果滿足要求的網(wǎng)絡(luò)就可定型。仿真采用下列函數(shù)：y=sim(trained_net,P);完成的訓(xùn)練網(wǎng)輸入的特征向量網(wǎng)絡(luò)的實(shí)際輸出3、BP神經(jīng)網(wǎng)絡(luò)的仿真BP神經(jīng)網(wǎng)絡(luò)的創(chuàng)建、訓(xùn)練與仿真第70頁(yè)，共158頁(yè)，2023年，2月20日，星期五1、手寫數(shù)字字符的識(shí)別2、人臉的識(shí)別3、車型的識(shí)別4、車牌的識(shí)別5、指紋的識(shí)別6、虹膜的識(shí)別6、剛體目標(biāo)的識(shí)別7、人體目標(biāo)的識(shí)別基于BP神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別的應(yīng)用領(lǐng)域第71頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例1、手寫數(shù)字圖像的歸一化處理將圖像歸一到16×8的像素矩陣2、將16×8的像素矩陣按列堆疊成128維向量矩陣→向量第72頁(yè)，共158頁(yè)，2023年，2月20日，星期五3、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

(1)輸入節(jié)點(diǎn)數(shù)的確定根據(jù)輸入特征向量是128維，故選輸入節(jié)點(diǎn)為128個(gè)。（2）輸出節(jié)點(diǎn)數(shù)的確定辨識(shí)10個(gè)手寫數(shù)字，以每個(gè)節(jié)點(diǎn)為1代表一個(gè)數(shù)字的標(biāo)識(shí)，所以輸出節(jié)點(diǎn)可選10個(gè)節(jié)點(diǎn)；（3）隱層節(jié)點(diǎn)數(shù)的確定可按下列公式估計(jì)

式中n為輸入節(jié)點(diǎn)m為輸出節(jié)點(diǎn)數(shù)，a=1~10為可調(diào)常數(shù)。這里取隱層節(jié)點(diǎn)20神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例第73頁(yè)，共158頁(yè)，2023年，2月20日，星期五3、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)

(4)傳遞函數(shù)設(shè)計(jì)輸入節(jié)點(diǎn)數(shù)的確定由于以1作為類別的數(shù)值表示，即輸出最大限為1，故隱層與輸出層傳遞函數(shù)都選擇為logsig。（5）輸入數(shù)據(jù)和期望值按向量排成的矩陣組織，即220神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例第74頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例—實(shí)施第75頁(yè)，共158頁(yè)，2023年，2月20日，星期五神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識(shí)別設(shè)計(jì)實(shí)例—實(shí)施第76頁(yè)，共158頁(yè)，2023年，2月20日，星期五SOM自組織神經(jīng)網(wǎng)絡(luò)

采用有導(dǎo)師學(xué)習(xí)規(guī)則的神經(jīng)網(wǎng)絡(luò)是以網(wǎng)絡(luò)的誤差或能量函數(shù)作為算法準(zhǔn)則。而在很多情況下，人在認(rèn)知過程中沒有預(yù)知的正確模式，人獲得大量知識(shí)常常是靠“無師自通”，即通過對(duì)客觀事物的反復(fù)觀察，分析與比較，自行揭示其內(nèi)在規(guī)律，并對(duì)具有共同特征的事物進(jìn)行正確歸類。對(duì)于人的這種學(xué)習(xí)方式，基于有導(dǎo)師學(xué)習(xí)策略的神經(jīng)網(wǎng)絡(luò)是無能為力的。自組織神經(jīng)網(wǎng)絡(luò)的無導(dǎo)師學(xué)習(xí)方式更類似于人類大腦中生物神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其最重要特點(diǎn)是通過自動(dòng)尋找樣本中的內(nèi)在規(guī)律和本質(zhì)屬性，自組織自適應(yīng)地改變網(wǎng)絡(luò)參數(shù)與結(jié)構(gòu)。這種學(xué)習(xí)方式大大拓寬神經(jīng)網(wǎng)絡(luò)在模式識(shí)別與分類方面的應(yīng)用。第77頁(yè)，共158頁(yè)，2023年，2月20日，星期五

自組織網(wǎng)結(jié)構(gòu)上屬于層次型網(wǎng)絡(luò)，有多種類型。如：自組織特征映射（SelfOrganizingFeatureMap）網(wǎng)絡(luò)—SOM）；對(duì)偶（向）傳播（CounterPropagationNetwork)網(wǎng)絡(luò)—CPN)；自適應(yīng)共振理論（AdaptiveResonanceTheory)網(wǎng)絡(luò)—ART等。其共同特點(diǎn)是都具有競(jìng)爭(zhēng)層。最簡(jiǎn)單的網(wǎng)絡(luò)結(jié)構(gòu)具有一個(gè)輸入層和一個(gè)競(jìng)爭(zhēng)層。輸入模式輸出模式競(jìng)爭(zhēng)層

輸入層負(fù)責(zé)接受外界信息并將輸入模式向競(jìng)爭(zhēng)層傳遞，起觀察作用。競(jìng)爭(zhēng)層負(fù)責(zé)對(duì)該模式進(jìn)行“分析比較”，找出規(guī)律以正確分類。這種功能是通過下面要介紹的競(jìng)爭(zhēng)機(jī)制實(shí)現(xiàn)的。SOM自組織神經(jīng)網(wǎng)絡(luò)第78頁(yè)，共158頁(yè)，2023年，2月20日，星期五

競(jìng)爭(zhēng)學(xué)習(xí)是自組織網(wǎng)絡(luò)中最常用的一種學(xué)習(xí)策略，首先說明與之相關(guān)的幾個(gè)基本概念。1基本概念模式、分類、聚類與相似性模式：一般當(dāng)網(wǎng)絡(luò)涉及識(shí)別、分類問題時(shí)，常用輸入模式（而不稱輸入樣本）；分類：將待識(shí)別的輸入模式劃分為各自的模式類中去；聚類：無導(dǎo)師指導(dǎo)的分類稱為聚類，聚類的目的是將相似的模式樣本劃歸一類；相似性：輸入模式的聚類依據(jù)。2相似性測(cè)量神經(jīng)網(wǎng)絡(luò)的輸入模式用向量表示，比較不同模式的相似性可轉(zhuǎn)化為比較兩個(gè)向量的距離，因而可用模式向量間的距離作為聚類判據(jù)。模式識(shí)別中常用到的兩種聚類判據(jù)是歐式最小距離法和余弦法。一、競(jìng)爭(zhēng)學(xué)習(xí)的概念與原理第79頁(yè)，共158頁(yè)，2023年，2月20日，星期五（1）歐式距離法

X和Xi兩向量歐式距離:

兩個(gè)模式向量的歐式距離越小，兩個(gè)模式越相似，當(dāng)兩個(gè)模式完全相同時(shí)，其歐式距離為零。如果對(duì)同一類內(nèi)各個(gè)模式向量間的歐式距離作出規(guī)定，不允許超過某一最大值T，則最大歐式距離T就成為一種聚類判據(jù)。（2）余弦法計(jì)算兩個(gè)模式向量夾角的余弦：

兩個(gè)模式向量越接近，其類角越小，余弦越大。當(dāng)兩個(gè)模式向量完全相同時(shí)，其夾角余弦為1。若同類內(nèi)各模式向量間的夾角規(guī)定不大于ΨT，則Ψ成為一種聚類判據(jù)。余弦法適合模式向量長(zhǎng)度相同或模式特征只與向量方向相關(guān)的相似性測(cè)量。2相似性測(cè)量第80頁(yè)，共158頁(yè)，2023年，2月20日，星期五3側(cè)抑制與競(jìng)爭(zhēng)

自組織網(wǎng)絡(luò)（競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)）構(gòu)成的基本思想是網(wǎng)絡(luò)的競(jìng)爭(zhēng)層各神經(jīng)元競(jìng)爭(zhēng)對(duì)輸入模式響應(yīng)的機(jī)會(huì)，最后僅有一個(gè)神經(jīng)元成為競(jìng)爭(zhēng)的“勝者”，這一獲勝神經(jīng)元?jiǎng)t表示對(duì)輸入模式的識(shí)別?！w現(xiàn)了生物生神經(jīng)細(xì)胞的側(cè)抑制競(jìng)爭(zhēng)機(jī)制。

實(shí)驗(yàn)表明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對(duì)其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。

這種側(cè)抑制使神經(jīng)細(xì)胞之間呈現(xiàn)出競(jìng)爭(zhēng)，開始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對(duì)周圍神經(jīng)細(xì)胞的抑制作用也最強(qiáng)，其結(jié)果使其周圍神經(jīng)細(xì)胞興奮程度減弱，從而該神經(jīng)細(xì)胞是這次競(jìng)爭(zhēng)的“勝者”，其它神經(jīng)細(xì)胞在競(jìng)爭(zhēng)中失敗。第81頁(yè)，共158頁(yè)，2023年，2月20日，星期五

自組織網(wǎng)絡(luò)在競(jìng)爭(zhēng)層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿足一定的分布關(guān)系，如距離近的抑制強(qiáng)，距離遠(yuǎn)的抑制弱。這種權(quán)值（或說側(cè)抑制關(guān)系）一般是固定的，訓(xùn)練過程中不需要調(diào)整，在各類自組織網(wǎng)絡(luò)拓樸圖中一般予以省略。（不省略時(shí)，也只看成抑制關(guān)系的表示，不作為網(wǎng)絡(luò)權(quán)來訓(xùn)練）。最強(qiáng)的抑制關(guān)系是競(jìng)爭(zhēng)獲勝者“惟我獨(dú)興”，不允許其它神經(jīng)元興奮，這種抑制方式也稱為勝者為王。3側(cè)抑制與競(jìng)爭(zhēng)第82頁(yè)，共158頁(yè)，2023年，2月20日，星期五4向量歸一化

不同的向量有長(zhǎng)短和方向區(qū)別，向量歸一化的目的是將向量變成方向不變長(zhǎng)度為1的單位向量。單位向量進(jìn)行比較時(shí)，只需比較向量的夾角。X向量的歸一化：

競(jìng)爭(zhēng)學(xué)習(xí)原理（規(guī)則）競(jìng)爭(zhēng)學(xué)習(xí)采用的規(guī)則是勝者為王，該算法可分為3個(gè)步驟。得到：(1)向量歸一化將自組織網(wǎng)絡(luò)中的當(dāng)前輸入模式向量X和競(jìng)爭(zhēng)層中各神經(jīng)元對(duì)應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,…m)全部進(jìn)行歸一化處理。第83頁(yè)，共158頁(yè)，2023年，2月20日，星期五(2)尋找獲勝神經(jīng)元

此式看出，欲兩單位向量的歐式距離最小，須使兩向量的點(diǎn)積最大。即

因此，求最小歐式距離的問題就轉(zhuǎn)化為按此式求最大點(diǎn)積的問題，而且權(quán)向量與輸入向量的點(diǎn)積正是競(jìng)爭(zhēng)層神經(jīng)元的凈輸入。第84頁(yè)，共158頁(yè)，2023年，2月20日，星期五(3)網(wǎng)絡(luò)輸出與權(quán)值調(diào)整

勝者為王競(jìng)爭(zhēng)學(xué)習(xí)算法規(guī)定，獲勝神經(jīng)元輸出為1，其余輸出為零。即只有獲勝神經(jīng)元才有權(quán)調(diào)整其權(quán)向量，調(diào)整后權(quán)向量為式中為學(xué)習(xí)率，一般其值隨著學(xué)習(xí)的進(jìn)展而減小?？梢钥闯觯?dāng)時(shí)，對(duì)應(yīng)神經(jīng)無的權(quán)值得不到調(diào)整，其實(shí)質(zhì)是“勝者”對(duì)它們進(jìn)行了強(qiáng)側(cè)抑制，不允許它們興奮。

應(yīng)注意，歸一化后的權(quán)向量經(jīng)過調(diào)整后得到的新向量不再是單位向量，需要重新歸一化。步驟（3）完成后回到步驟（1）繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到零。第85頁(yè)，共158頁(yè)，2023年，2月20日，星期五二、自組織特征映射（SOM）神經(jīng)網(wǎng)絡(luò)1、SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)

生物學(xué)研究表明：人的大腦皮層中，存在許多不同功能的神經(jīng)網(wǎng)絡(luò)區(qū)域，每個(gè)功能區(qū)域完成各自的特定功能，如視覺、聽覺、語(yǔ)言理解和運(yùn)動(dòng)控制等等。當(dāng)人腦通過感官接受外界的特定時(shí)空信息時(shí)，將引起大腦皮層的特定區(qū)域興奮。每個(gè)區(qū)域有若干神經(jīng)元組成，當(dāng)該區(qū)域興奮時(shí)，總是以某一個(gè)神經(jīng)元（細(xì)胞）為興奮中心，呈現(xiàn)出墨西哥帽（MexicanHat）式興奮分布。第86頁(yè)，共158頁(yè)，2023年，2月20日，星期五1981年芬蘭學(xué)者kohonen提出一個(gè)稱為自組織特征映射（SelfOrganizationFeatureMap-SOM或SOFM）網(wǎng)絡(luò)，前述大腦神經(jīng)細(xì)胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反應(yīng)。

網(wǎng)絡(luò)區(qū)域中的這種興奮與抑制規(guī)律，將依據(jù)外界輸入環(huán)境的不同，神經(jīng)元（細(xì)胞）要靠競(jìng)爭(zhēng)機(jī)制來決定勝負(fù)。

大腦的這種區(qū)域性結(jié)構(gòu)，雖有遺傳因素，但，各區(qū)域的功能大部分是后天通過環(huán)境的適應(yīng)和學(xué)習(xí)得到的，這就是神經(jīng)網(wǎng)絡(luò)的自組織（selforganization）特征.1、SOM網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)第87頁(yè)，共158頁(yè)，2023年，2月20日，星期五2、SOM網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)與權(quán)值調(diào)整域2.1拓?fù)浣Y(jié)構(gòu)SOM網(wǎng)絡(luò)共有兩層，輸入層模擬感知外界輸入信息的視網(wǎng)膜。輸出層模擬做出響應(yīng)的大腦皮層。輸出層也是競(jìng)爭(zhēng)層，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)形式常見有一維線陣和二維平面陣。網(wǎng)絡(luò)實(shí)現(xiàn)將任意維輸入模式在輸出層映射成一維離散圖形。第88頁(yè)，共158頁(yè)，2023年，2月20日，星期五網(wǎng)絡(luò)實(shí)現(xiàn)將任意維輸入模式在輸出層映射成二維離散圖形。SOM二維平面陣結(jié)構(gòu)第89頁(yè)，共158頁(yè)，2023年，2月20日，星期五3、SOM網(wǎng)絡(luò)的運(yùn)行原理與學(xué)習(xí)算法SOM網(wǎng)絡(luò)的運(yùn)行原理

SOM網(wǎng)絡(luò)表現(xiàn)為：網(wǎng)絡(luò)隨機(jī)輸入模式時(shí)，對(duì)某個(gè)特定的輸入模式，輸出層會(huì)有某個(gè)節(jié)點(diǎn)產(chǎn)生最大響應(yīng)而獲勝。按生物區(qū)域神經(jīng)興奮機(jī)制，獲勝神經(jīng)元對(duì)其鄰近神經(jīng)元存在一種側(cè)抑制（競(jìng)爭(zhēng)）機(jī)制。SOM網(wǎng)絡(luò)的側(cè)抑制方式是：以獲勝神經(jīng)元為中心權(quán)值調(diào)整量最強(qiáng)，且由近及遠(yuǎn)地逐漸遞減程度不同的調(diào)整權(quán)向量直到抑制。理論上按墨西哥帽分布調(diào)整權(quán)值，但其計(jì)算上的復(fù)雜性影響了網(wǎng)絡(luò)訓(xùn)練的收斂性。因此在SOM網(wǎng)的應(yīng)用中常采用與墨西哥帽函數(shù)類似的簡(jiǎn)化函數(shù)或其他一些方式（如優(yōu)勝域）。

以獲勝神經(jīng)元為中心設(shè)定一個(gè)鄰域——優(yōu)勝域。優(yōu)勝鄰域內(nèi)的所有神經(jīng)元均按其離開獲勝神經(jīng)元的距離遠(yuǎn)近不同程度地調(diào)整權(quán)值。優(yōu)勝鄰域開始可定義得較大，但其大小隨著訓(xùn)練次數(shù)的增加不斷收縮，最終收縮到半徑為零。第90頁(yè)，共158頁(yè)，2023年，2月20日，星期五SOM網(wǎng)絡(luò)的學(xué)習(xí)算法SOM網(wǎng)絡(luò)采用的學(xué)習(xí)算法稱Kohonen算法，是在勝者為王算法基礎(chǔ)上加以改進(jìn)而成。其主要區(qū)別在于調(diào)整權(quán)向量的側(cè)抑制方式不同。勝者為王算法中，獲勝神經(jīng)元對(duì)周圍神經(jīng)元的抑制是“封殺”式的（只獲勝神經(jīng)調(diào)整權(quán)向量，周圍其它無權(quán)調(diào)整）

。

當(dāng)輸入模式的類別改變時(shí)，獲勝節(jié)點(diǎn)也會(huì)改變。獲勝節(jié)點(diǎn)對(duì)周圍的節(jié)點(diǎn)因側(cè)抑制作用也產(chǎn)生較大的響應(yīng)，于是，獲勝節(jié)點(diǎn)及其優(yōu)勝鄰域內(nèi)的所有節(jié)點(diǎn)所連接的權(quán)向量均向輸入向量的方向作程度不同的調(diào)整。

網(wǎng)絡(luò)通過自組織方式，用大量訓(xùn)練樣本調(diào)整網(wǎng)絡(luò)的權(quán)值，最后使輸出層各節(jié)點(diǎn)成為對(duì)特定模式類敏感的神經(jīng)元，對(duì)應(yīng)的內(nèi)星權(quán)向量成為各輸入模式類的中心向量。并且當(dāng)兩個(gè)模式類的特征接近時(shí)，代表這兩類的節(jié)點(diǎn)在位置上也接近。從而，在輸出層形成能夠反映樣本模式類分布情況的有序特征圖。

Kohonen算法采用優(yōu)勝域思想，模擬生物區(qū)域神經(jīng)興奮競(jìng)爭(zhēng)機(jī)制。3、SOM網(wǎng)絡(luò)的運(yùn)行原理與學(xué)習(xí)算法第91頁(yè)，共158頁(yè)，2023年，2月20日，星期五Kohonen算法（1）初始化

給定學(xué)習(xí)率初值η(0)，（0<η(0)<1）；確定初始優(yōu)勝（鄰）域Nj*(0)的初值；一般用半徑表示，可取競(jìng)爭(zhēng)層陣列幅度的1/3~1/2,甚至可覆蓋整個(gè)競(jìng)爭(zhēng)層。對(duì)各權(quán)向量賦隨機(jī)小數(shù)并進(jìn)行歸一化，得:（2）接受輸入

從訓(xùn)練集中隨機(jī)選取一個(gè)輸入模式進(jìn)行歸一化處理，得:（3）尋找獲勝節(jié)點(diǎn)計(jì)算與的點(diǎn)積，j=1,2,…m，得到點(diǎn)積最大的獲勝節(jié)點(diǎn)j*；如若輸入模式未歸一化，可計(jì)算歐式距離，找出距離最小的為獲勝節(jié)點(diǎn)j*。第92頁(yè)，共158頁(yè)，2023年，2月20日，星期五（4）調(diào)整權(quán)值以j*為中心，對(duì)優(yōu)勝域Nj*(t)內(nèi)的所有節(jié)點(diǎn)調(diào)整權(quán)值：（6）更新鄰域Nj*(t)及學(xué)習(xí)率η(t)

Nj*(t)=INT[Nj*(0)(1-t/T)]t——當(dāng)前學(xué)習(xí)次數(shù)；T——預(yù)先設(shè)定的最大訓(xùn)練次數(shù).η(t)=η(0)[1-t/T]——網(wǎng)絡(luò)在t時(shí)刻的學(xué)習(xí)率.Nj*(t)和η(t)不限于上述形勢(shì)，也有其他形式。（5）檢查總模式數(shù)（P）是否全部參與了學(xué)習(xí)，否則返（2）Kohonen算法第93頁(yè)，共158頁(yè)，2023年，2月20日，星期五Nj*(t)可以說是墨西哥帽函數(shù)的一種具體體現(xiàn)形勢(shì)，更新原則是使鄰域不斷縮小，這樣輸出平面上相鄰神經(jīng)元對(duì)應(yīng)的權(quán)向量之間既有區(qū)別又有相當(dāng)?shù)南嗨菩?，從而，保證當(dāng)獲勝節(jié)點(diǎn)對(duì)某一類模式產(chǎn)生最大響應(yīng)時(shí)，其臨近節(jié)點(diǎn)也能產(chǎn)生較大的響應(yīng)。

鄰域的形狀可以是圓、正方形或六邊形等。當(dāng)鄰域是半徑為d圓時(shí),鄰域中的神經(jīng)元描述為:

若25個(gè)神經(jīng)元排列成5×5二維格柵拓?fù)浣Y(jié)構(gòu),第13神經(jīng)的指定優(yōu)勝域半徑的區(qū)域內(nèi)神經(jīng)元為:d=1d=2Kohonen算法第94頁(yè)，共158頁(yè)，2023年，2月20日，星期五（7）令t=t+1,返回步驟（2）（8）結(jié)束檢查

判斷η(t)是否衰減到某預(yù)定精度或判斷t=T.Kohonen算法第95頁(yè)，共158頁(yè)，2023年，2月20日，星期五Kohonen學(xué)習(xí)算法程序流程第96頁(yè)，共158頁(yè)，2023年，2月20日，星期五4.2.4SOM網(wǎng)絡(luò)的功能SOM網(wǎng)絡(luò)的功能特點(diǎn)之一是：保序映射，即能將輸入空間的樣本模式類有序地映射在輸出層上。例動(dòng)物屬性特征映射1989年Kohonen給出一個(gè)SOM網(wǎng)的著名應(yīng)用實(shí)例，即把不同的動(dòng)物按其屬性映射到二維輸出平面上，使屬性相似的動(dòng)物在SOM網(wǎng)輸出平面上的位置也相近。訓(xùn)練集選了16種動(dòng)物，每種動(dòng)物用一個(gè)29維向量來表示。前16個(gè)分量構(gòu)成符號(hào)向量（不同的動(dòng)物進(jìn)行16取1編碼），后13個(gè)分量構(gòu)成屬性向量，描述動(dòng)物的13種屬性的有或無（用1或0表示）。第97頁(yè)，共158頁(yè)，2023年，2月20日，星期五16種動(dòng)物的屬性向量（29維向量的后13個(gè)分量）

動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛小1111110000100000中0000001111000000大00000000000111112只腿11111110000000004只腿0000000111111111毛0000000111111111蹄0000000000000111第98頁(yè)，共158頁(yè)，2023年，2月20日，星期五

動(dòng)物屬性鴿子母雞鴨鵝貓頭鷹隼鷹狐貍狗狼貓虎獅馬斑馬牛鬃毛0000000000000110羽毛1111111000000000獵0000111101111000跑0000000011011110飛1001111000000000泳0011000000000000SOM網(wǎng)輸出平面上有10×10個(gè)神經(jīng)元，16個(gè)動(dòng)物模式輪番輸入訓(xùn)練，最后輸出平面呈現(xiàn)16種動(dòng)物屬性特征映射，屬性相似的挨在一起，實(shí)現(xiàn)了特征的有序分布。16種動(dòng)物的屬性向量（29維向量的后13個(gè)分量）第99頁(yè)，共158頁(yè)，2023年，2月20日，星期五10×10神經(jīng)元X向量（29維）前16個(gè)分量（16取1，表達(dá)動(dòng)物種類。）后13個(gè)分量（表達(dá)動(dòng)物屬性）鴨鵝鴿母雞馬斑馬牛隼狼虎獅貓狗狐貓頭鷹鷹動(dòng)物屬性特征映射第100頁(yè)，共158頁(yè)，2023年，2月20日，星期五

SOM網(wǎng)的功能特點(diǎn)之二是數(shù)據(jù)壓縮。

將高維空間的樣本在保持拓?fù)浣Y(jié)構(gòu)不變的條件下投影到低維空間。如上例中輸入樣本空間為29維，通過SOM網(wǎng)后壓縮為二維平面的數(shù)據(jù)。

SOM網(wǎng)的功能特點(diǎn)之三是特征抽取。（規(guī)律的發(fā)現(xiàn)）

在高維模式空間，很多模式的分布具有復(fù)雜的結(jié)構(gòu)，從數(shù)據(jù)觀察很難發(fā)現(xiàn)其內(nèi)在規(guī)律。當(dāng)通過SOM網(wǎng)映射到低維輸出空間后，其規(guī)律往往一目了然，實(shí)現(xiàn)某種特征抽取的映射。即高維空間的向量經(jīng)過特征抽取后可以在低維特征空間更加清晰地表達(dá)，因此映射的意義不僅僅是單純的數(shù)據(jù)壓縮，更是一種規(guī)律發(fā)現(xiàn)。如上例29維映射到二維后，相近屬性的動(dòng)物實(shí)現(xiàn)了聚類分布的特點(diǎn)。

SOM網(wǎng)有許多應(yīng)用實(shí)例：解決旅行商最優(yōu)路經(jīng)問題，皮革外觀效果分類等。第101頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM支持向量機(jī)

支持向量機(jī)(SupportVectorMachine,SVM)是CorinnaCortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中。支持向量機(jī)方法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳折衷，以求獲得最好的推廣能力。第102頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM支持向量機(jī)SVM有如下主要幾個(gè)特點(diǎn)：(1)非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射；(2)對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心；(3)支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。(4)SVM是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”,大大簡(jiǎn)化了通常的分類和回歸等問題。第103頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM支持向量機(jī)(5)SVM的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。(6)少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在:①增、刪非支持向量樣本對(duì)模型沒有影響;②支持向量樣本集具有一定的魯棒性;③有些成功的應(yīng)用中,SVM方法對(duì)核的選取不敏感第104頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM支持向量機(jī)——線性分類器

假定大小為n

的訓(xùn)練樣本集{(xi,yi),i=…,n

},由二類別組成,如果xi∈Rd屬于第1類標(biāo)記為正(yi=1),如果屬于第2類,則標(biāo)記為負(fù)（yi=-1).學(xué)習(xí)的目標(biāo)是構(gòu)造一判別函數(shù),將檢測(cè)數(shù)據(jù)據(jù)盡可能正確地分類.針對(duì)訓(xùn)練樣本集為線性和非線性兩種情況分別討論.第105頁(yè)，共158頁(yè)，2023年，2月20日，星期五支持向量機(jī)分類器SVM線性可分情況 先考慮二維情況下的線性可分的兩類樣本(○,×),如圖所示,存在很多條可能的分類線能夠?qū)⒂?xùn)練樣本分開。顯然分類線a最好，因?yàn)樗h(yuǎn)離每一類樣本，風(fēng)險(xiǎn)小。而其他的分類線離樣本較近，只要樣本有較小的變化，將會(huì)導(dǎo)致錯(cuò)誤的分類結(jié)果。因此分類線a是代表一個(gè)最優(yōu)的線性分類器。所謂最優(yōu)分類線就是要求分類線不但能將兩類無誤地分開，而且要使兩類的分類間隔最大。圖中H是最優(yōu)分類線，H1和H2分別為過各類樣本中離分類線最近的點(diǎn)且平行于分類線的直線，H1和H2之間的距離叫做兩類的分類空隙或者分類間隔(margin)。 將二維推廣到高維，最優(yōu)分類線就成為最優(yōu)分類超平面。abcHH1H2第106頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM線性分類器線性可分情況 設(shè)線性可分樣本集為(xi,yi),i=1,2,…,n,x∈Rd,y∈{+1,-1}是類別號(hào)。d維空間中線性判別函數(shù)的一般形式為g(x)=wTx+b，則分類超平面方程為：

wTx+b＝0

其中，w為分類超平面的法線，是可調(diào)的權(quán)值向量；b為偏置，決定相對(duì)原點(diǎn)的位置。當(dāng)兩類樣本是線性可分時(shí)，滿足條件：

(wTxi)+b≥+1 yi=+1 (wTxi)+b≤-1 yi=-1

第107頁(yè)，共158頁(yè)，2023年，2月20日，星期五Z1線性可分情況如果存在分類超平面使得g(x)=wTx+b=0,wTx+b=0ω1ω2SVM線性分類器第108頁(yè)，共158頁(yè)，2023年，2月20日，星期五點(diǎn)到平面的距離

由于w是可以按比例改變的，因此可以縮放w

和b使得在ω1類g(x)=1,和ω2類g(x)=-1，可以用方程表示為

1、存在一個(gè)間隔，滿足2、要求滿足SVM線性分類器g(x)=1和g(x)=-1兩條直線間的距離第109頁(yè)，共158頁(yè)，2023年，2月20日，星期五

下面是數(shù)學(xué)計(jì)算問題，對(duì)于每一個(gè)xi,yi（對(duì)于ω1為+1,對(duì)于ω2為-1）表示相應(yīng)類的標(biāo)識(shí)器。要使間隔2/||w||最大，實(shí)際上就是要||w||最小，即這是一個(gè)滿足一系列線性不等式條件的非線性（二次方程）最優(yōu)化問題。采用拉格朗日函數(shù)SVM線性分類器第110頁(yè)，共158頁(yè)，2023年，2月20日，星期五根據(jù)Karushi-Kuhn-Tucker條件以上最小化問題滿足以下條件：

={

1,

2,…,

N}T是拉格朗日乘子組成的向量。SVM線性分類器第111頁(yè)，共158頁(yè)，2023年，2月20日，星期五這里

可以看出采用||w||2平方的好處，可以將||w||變化成wTw,便于求導(dǎo)運(yùn)算。數(shù)對(duì)向量的導(dǎo)數(shù)

(wTw)’=2w通過L-函數(shù)對(duì)w求導(dǎo)計(jì)算得SVM線性分類器通過L-函數(shù)對(duì)b求導(dǎo)計(jì)算得第112頁(yè)，共158頁(yè)，2023年，2月20日，星期五拉格朗日乘子只能為0或正數(shù)，所以具有最優(yōu)解的向量參數(shù)w是Ns<=N個(gè)特征向量的線性組合，即其中i

不為0向量的線性組合這些αi不為0所對(duì)應(yīng)的向量xi就是支持向量，這也是支持向量機(jī)的由來，這些向量點(diǎn)就是取得最大間隔分類兩個(gè)超平面上的點(diǎn)。兩個(gè)超平面任何一方的支持向量滿足：SVM線性分類器第113頁(yè)，共158頁(yè)，2023年，2月20日，星期五前面我們通過拉格朗日函數(shù)對(duì)w

和b求導(dǎo)得到兩個(gè)約束:把這兩個(gè)等式和拉格朗日函數(shù)結(jié)合起來，可以把w帶入拉格朗日函數(shù)L,SVM線性分類器第114頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM線性分類器第115頁(yè)，共158頁(yè)，2023年，2月20日，星期五現(xiàn)在求拉格朗日乘子i

就是求凸函數(shù)L

的最大值，即條件約束SVM線性分類器第116頁(yè)，共158頁(yè)，2023年，2月20日，星期五i為與每個(gè)樣本對(duì)應(yīng)的Lagrange乘子.這是一個(gè)不等式約束下二次函數(shù)尋優(yōu)的問題,存在唯一解。容易證明,解中將只有一部分(通常是少部分)i

不為零,對(duì)應(yīng)的樣本就是支持向量.解上述問題后得到的最優(yōu)分類函數(shù)是.式中的求和實(shí)際上只對(duì)支持向量進(jìn)行.b*是分類閾值,可以用任一個(gè)支持向量滿足下式中的等號(hào)求得,或通過兩類中任意一對(duì)支持向量取中值求得SVM線性分類器第117頁(yè)，共158頁(yè)，2023年，2月20日，星期五++●++++++不可分的類對(duì)于不可分的情況，上述討論不再有效，不存在超平面可以把兩類分開而沒有點(diǎn)落在分離帶內(nèi)如圖所示。++●●●●●●●●●●+++++●SVM線性不可分情況第118頁(yè)，共158頁(yè)，2023年，2月20日，星期五

一般訓(xùn)練特征向量屬于下面三類中的一種：位于分割帶以外的向量。這類向量滿足：落在分離帶內(nèi)且正確分類的向量圖中方框內(nèi)的點(diǎn)，滿足：錯(cuò)誤分類的向量，圖中圓內(nèi)的點(diǎn)，滿足不等式：SVM線性不可分情況第119頁(yè)，共158頁(yè)，2023年，2月20日，星期五在不可分的情況下，這三種情況通過引進(jìn)ξi可以統(tǒng)一歸為同一約束問題，即對(duì)于第一類問題ξi=0，對(duì)于第二類問題0<ξi<=1，

對(duì)于第三類問題1<ξi,帶內(nèi)但錯(cuò)誤在超平面另一側(cè)帶內(nèi)但正確帶外正確SVM線性不可分情況第120頁(yè)，共158頁(yè)，2023年，2月20日，星期五我們希望錯(cuò)分和落在分離帶內(nèi)的少,對(duì)嚴(yán)格的進(jìn)行放松條件即用滿足作為約束條件，所以ξi稱為松弛變量現(xiàn)在的優(yōu)化問題描述是：使分類間隔盡量大，但同時(shí)保證ξi>0的點(diǎn)盡量少.用數(shù)學(xué)術(shù)語(yǔ)表示等價(jià)于對(duì)代價(jià)函數(shù)J的最小化，即其中ξ是參數(shù)ξi組成的向量，而I(ξi)代表帶內(nèi)向量計(jì)數(shù)，即SVM線性不可分情況第121頁(yè)，共158頁(yè)，2023年，2月20日，星期五參數(shù)C是一個(gè)正常數(shù)，用來控制兩個(gè)競(jìng)爭(zhēng)條件的相對(duì)影響，由于I(ξi)是一個(gè)不連續(xù)的量?jī)?yōu)化求導(dǎo)困難，所以選擇一個(gè)最接近的代價(jià)函數(shù)進(jìn)行優(yōu)化，不可分類的優(yōu)化問題變成

SVM線性不可分的情況第122頁(yè)，共158頁(yè)，2023年，2月20日，星期五這里的(ξi)實(shí)際上帶內(nèi)點(diǎn)到各自超平面的距離，將上述2個(gè)約束條件加入代價(jià)函數(shù)獲得相應(yīng)的拉格朗日函數(shù)表示為：

應(yīng)用Karush-Kuhn-Tucker條件為

有

有

有SVM線性不可分的情況第123頁(yè)，共158頁(yè)，2023年，2月20日，星期五此外還有約束

相關(guān)的Wolfe二元表達(dá)式為SVM線性不可分的情況第124頁(yè)，共158頁(yè)，2023年，2月20日，星期五將上面的條件帶入拉格朗日函數(shù)并整理可得滿足最大的拉格朗日常數(shù)條件約束

，

從上面的分析可以看出支持向量機(jī)用于兩類別的分類最后轉(zhuǎn)化為確定約束條件下拉格朗日乘子αi.公式形式上與線性可分是一致的,所不同的是,這里αi的約束條件是0=<αi

＜=CSVM線性不可分的情況第125頁(yè)，共158頁(yè)，2023年，2月20日，星期五線性不可分的核函數(shù)方法

對(duì)于線性不可分（非線性）問題：采用一個(gè)非線性變換φ(x)把輸入數(shù)據(jù)映射到一個(gè)高維特征空間，然后在高維特征空間進(jìn)行線性分類，最后再映射回到原空間就成為輸入空間的非線性分類。 考慮到可能存在一些樣本不能被分離超平面分離，增加一個(gè)松弛變量ξ，優(yōu)化問題為： 約束為

其中，C為一常數(shù)，起控制對(duì)錯(cuò)分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯(cuò)分樣本的比例與算法復(fù)雜度之間的折衷。C值越大，表示主要把重點(diǎn)放在減少分類錯(cuò)誤上，C值越小，表示主要把重點(diǎn)放在分離超平面，避免過學(xué)習(xí)問題。第126頁(yè)，共158頁(yè)，2023年，2月20日，星期五線性不可分的核函數(shù)方法 Lagrange函數(shù)定義如下： 式中，αi≥0,βi≥0。第127頁(yè)，共158頁(yè)，2023年，2月20日，星期五線性不可分的核函數(shù)方法

分別對(duì)w，b和ξi求偏微分并置0，得

帶入Lagrange函數(shù)，得優(yōu)化問題的對(duì)偶形式： 在約束條件：

下，求下列函數(shù)的最大值：第128頁(yè)，共158頁(yè)，2023年，2月20日，星期五

特征空間的維數(shù)非常高,在大多數(shù)情況下難以直接在特征空間計(jì)算最優(yōu)分類面。支持向量機(jī)通過定義核函數(shù)(KernelFunction)方法將這一問題轉(zhuǎn)化到輸入空間進(jìn)行計(jì)算： 假設(shè)有非線性映射φ:Rn→H將輸入空間的樣本映射到高維特征空間H中，當(dāng)在特征空間構(gòu)造最優(yōu)分類面時(shí),訓(xùn)練算法僅使用特征空間的點(diǎn)積，即φ(xi)Tφ(xj)。所以，只要構(gòu)造一個(gè)函數(shù)K()使得K(xi,xj)=φ(xi)Tφ(xj),這樣，在高維空間中實(shí)際上只需進(jìn)行內(nèi)積計(jì)算，不必知道變換φ的形式。

線性不可分的核函數(shù)方法第129頁(yè)，共158頁(yè)，2023年，2月20日，星期五根據(jù)泛函的有關(guān)理論，只要一種函數(shù)K(x,xi)滿足Mercer條件，它就對(duì)應(yīng)某一變換空間的內(nèi)積。滿足Mercer條件的內(nèi)積函數(shù)K(x,xi)稱為核函數(shù)，常用的核函數(shù)主要有： 高斯徑向基函數(shù)：

神經(jīng)網(wǎng)絡(luò)函數(shù)：d次多項(xiàng)式：線性不可分的核函數(shù)方法第130頁(yè)，共158頁(yè)，2023年，2月20日，星期五

優(yōu)化問題變?yōu)椋?約束條件： 求下列函數(shù)的最大值 對(duì)應(yīng)的分類函數(shù)為：線性不可分的核函數(shù)方法第131頁(yè)，共158頁(yè)，2023年，2月20日，星期五…K(x1,x)…K(x2,x)K(xs,x)α1y1α2y2αsysy權(quán)值wi=αiyi基于s個(gè)支持向量x1,x2,…,Xs的非線性變換（內(nèi)積）輸入向量xxdx1x2線性不可分的核函數(shù)方法第132頁(yè)，共158頁(yè)，2023年，2月20日，星期五支持向量機(jī)的學(xué)習(xí)算法①給出一組輸入樣本xi,i=1,2,…,n及其對(duì)應(yīng)的期望輸出yi∈{+1,-1}；②在約束條件：下求解下面函數(shù)的最大值，得到；③計(jì)算： 其中xs為一個(gè)特定的支持向量；④ 對(duì)于待分類向量x，選擇某一特定類型的核函數(shù)K(x,xi),計(jì)算： 為+1或-1，決定x屬于哪一類。線性不可分的核函數(shù)方法-歸納第133頁(yè)，共158頁(yè)，2023年，2月20日，星期五

支持向量機(jī)求解實(shí)際是二次規(guī)劃問題，經(jīng)典的解法有積極方集法、對(duì)偶方法、內(nèi)點(diǎn)算法等。當(dāng)訓(xùn)練樣本增多時(shí)，這些算法便面臨“維數(shù)災(zāi)難”將導(dǎo)致無法訓(xùn)練，近年來許多學(xué)者提出了多種算法來解決對(duì)偶尋優(yōu)問題。1、塊算法 選擇一部分樣本構(gòu)成工作樣本集，在工作樣本集上使用通用的優(yōu)化算法訓(xùn)練數(shù)據(jù)。算法保持了支持向量而剔除其中的非支持向量，并用訓(xùn)練結(jié)果對(duì)剩余樣本進(jìn)行檢驗(yàn)，將不符合訓(xùn)練結(jié)果的樣本與本次結(jié)果的支持向量合并成為一個(gè)新的工作樣本集，重新訓(xùn)練，如此重復(fù)直至獲得最優(yōu)結(jié)果。當(dāng)支持向量的數(shù)目遠(yuǎn)遠(yuǎn)小于訓(xùn)練樣本數(shù)目時(shí)，塊算法能夠大大提高運(yùn)算速度。支持向量機(jī)的學(xué)習(xí)算法第134頁(yè)，共158頁(yè)，2023年，2月20日，星期五2、分解算法 分解算法把問題分解成為固定樣本數(shù)的子問題，工作樣本集的大小固定在算法速度可以容忍的限度內(nèi)，每次只針對(duì)工作集中固定樣本個(gè)數(shù)進(jìn)行訓(xùn)練。在對(duì)工作集進(jìn)行優(yōu)化訓(xùn)練后，該方法只更新乘子αi的一個(gè)固定大小的子集，其他保持不變。即每當(dāng)一個(gè)新樣本加入到工作集中，工作集中另一個(gè)樣本要被移走，即使支持向量的個(gè)數(shù)超過工作樣本集的大小也不改變工作樣本集的規(guī)模。然后再進(jìn)行優(yōu)化訓(xùn)練，重復(fù)進(jìn)行。該方法關(guān)鍵是如何選擇一種最優(yōu)工作集，使得對(duì)應(yīng)的二次規(guī)劃子問題的優(yōu)化成為整個(gè)目標(biāo)函數(shù)的改進(jìn)。支持向量機(jī)的學(xué)習(xí)算法第135頁(yè)，共158頁(yè)，2023年，2月20日，星期五SVM支持向量機(jī)序貫最小優(yōu)化算法（SMO）背景：SMO（Sequentialminimaloptimization）順序最小優(yōu)化算法是一種用于支持向量機(jī)訓(xùn)練優(yōu)化算法。由微軟研究院的約翰·普萊特（JohnPlatt）發(fā)明于1998年，目前被廣泛使用于SVM的訓(xùn)練過程中，并在通行的SVM庫(kù)libsvm中得到實(shí)現(xiàn)。1998年，SMO算法發(fā)表在SVM研究領(lǐng)域內(nèi)引起了轟動(dòng)，因?yàn)橄惹翱捎玫腟VM訓(xùn)練方法必須使用復(fù)雜的方法，并需要昂貴的第三方二次規(guī)劃（QP）工具。而SMO算法較好地避免了這一問題。成為最快的二次規(guī)劃優(yōu)化算法。關(guān)于SMO的資料就是他本人寫的《SequentialMinimalOptimization-AFastAlgorithmforTrainingSupportVectorMachines》了。第136頁(yè)，共158頁(yè)，2023年，2月20日，星期五SMO 該算法是將分解算法推向極致得出的，每次迭代僅優(yōu)化兩個(gè)點(diǎn)的最小子集(工作集中只有兩個(gè)樣本)。該算法的優(yōu)點(diǎn)在于兩個(gè)數(shù)據(jù)點(diǎn)的優(yōu)化問題可以獲得解析解，從而不需要將QP（QuadraticProgramming）二次規(guī)劃優(yōu)化算法作為算法的一部分。它的工作集的選擇不是傳統(tǒng)的最陡下降法，而是采用啟發(fā)式，通過兩個(gè)嵌套循環(huán)來尋找優(yōu)化的樣本變量。在外循環(huán)尋找不滿足要求的樣本，然后在內(nèi)循環(huán)再選擇另一個(gè)樣本，進(jìn)行一次優(yōu)化，然后再循環(huán)進(jìn)行下一次優(yōu)化，直到全部樣本都滿足優(yōu)化條件。SVM支持向量機(jī)序貫最小優(yōu)化算法（SMO）第137頁(yè)，共158頁(yè)，2023年，2月20日，星期五，第一步選取一對(duì)αi

和αj

，選取方法使用啟發(fā)式方法（后面講）。第二步，固定除αi

和αj

之外的其他參數(shù)，確定W極值條件下的αi

，αj

由αi

表示。SMO之所以高效就是因?yàn)樵诠潭ㄆ渌麉?shù)后，對(duì)一個(gè)參數(shù)優(yōu)化過程很高效。序貫最小優(yōu)化算法（SMO）第138頁(yè)，共158頁(yè)，2023年，2月20日，星