支持向量機(jī)SVM原理及應(yīng)用概述分析

1、支持向量機(jī)(SVM)原理及應(yīng)用一、SVM的產(chǎn)生與發(fā)展自1995年Vapnik (瓦普尼克)在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上提出SVM作為模式識(shí)別的新方法之 后，SVM一直倍受關(guān)注。同年，Vapnik和Cortes提出軟間隔(soft margin)SVM，通過(guò)引進(jìn)松弛 變量&i度量數(shù)據(jù)力的誤分類(lèi)(分類(lèi)出現(xiàn)錯(cuò)誤時(shí)&i大于0)，同時(shí)在目標(biāo)函數(shù)中增加一個(gè)分量用來(lái) 懲罰非零松弛變量(即代價(jià)函數(shù))，SVM的尋優(yōu)過(guò)程即是大的分隔間距和小的誤差補(bǔ)償之間的平 衡過(guò)程；1996年，Vapnik等人又提出支持向量回歸(Support Vector Regression， SVR)的方 法用于解決擬合問(wèn)題。SVR同SVM的出

2、發(fā)點(diǎn)都是尋找最優(yōu)超平面(注：一維空間為點(diǎn)；二維空間 為線；三維空間為面；高維空間為超平面。)，但SVR的目的不是找到兩種數(shù)據(jù)的分割平面， 而是找到能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)分布的平面，兩者最終都轉(zhuǎn)換為最優(yōu)化問(wèn)題的求解；1998年，Weston 等人根據(jù)SVM原理提出了用于解決多類(lèi)分類(lèi)的SVM方法(Multi-Class Support Vector Machines，Multi-SVM)，通過(guò)將多類(lèi)分類(lèi)轉(zhuǎn)化成二類(lèi)分類(lèi)，將SVM應(yīng)用于多分類(lèi)問(wèn)題的判斷： 此外，在SVM算法的基本框架下，研究者針對(duì)不同的方面提出了很多相關(guān)的改進(jìn)算法。例如， Suykens提出的最小二乘支持向量機(jī)(Least Square Su

3、pport Vector Machine， LSSVM)算 法，Joachims等人提出的SVMTight，張學(xué)工提出的中心支持向量機(jī)(Central Support Vector Machine，CSVM)，Scholkoph和Smola基于二次規(guī)劃提出的v-SVM等。此后，臺(tái)灣大學(xué)林智仁(Lin Chih-Jen)教授等對(duì)SVM的典型應(yīng)用進(jìn)行總結(jié)，并設(shè)計(jì)開(kāi)發(fā)出較為完善的SVM工具包，也就是 LIBSVM(A Library for Support Vector Machines) o LIBSVM是一k個(gè)通用的SVM軟件包，可以 解決分類(lèi)、回歸以及分布估計(jì)等問(wèn)題。二、支持向量機(jī)原理SVM方

4、法是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出的一種新的機(jī)器學(xué)習(xí)方法， 它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ)，通過(guò)適當(dāng)?shù)剡x擇函數(shù)子集及該子集中的判別函數(shù)，使 學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)達(dá)到最小，保證了通過(guò)有限訓(xùn)練樣本得到的小誤差分類(lèi)器，對(duì)獨(dú)立測(cè)試 集的測(cè)試誤差仍然較小。支持向量機(jī)的基本思想：首先，在線性可分情況下，在原空間尋找兩類(lèi)樣本的最優(yōu)分類(lèi) 超平面。在線性不可分的情況下，加入了松弛變量進(jìn)行分析，通過(guò)使用非線性映射將低維輸 入空間的樣本映射到高維屬性空間使其變?yōu)榫€性情況，從而使得在高維屬性空間采用線性算 法對(duì)樣本的非線性進(jìn)行分析成為可能，并在該特征空間中尋找最優(yōu)分類(lèi)超平面。其次，它通 過(guò)使用

5、結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理在屬性空間構(gòu)建最優(yōu)分類(lèi)超平面，使得分類(lèi)器得到全局最優(yōu)，并 在整個(gè)樣本空間的期望風(fēng)險(xiǎn)以某個(gè)概率滿足一定上界。其突出的優(yōu)點(diǎn)表現(xiàn)在：（1）基于統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則（注：所謂的結(jié)構(gòu)風(fēng)險(xiǎn) 最小化就是在保證分類(lèi)精度（經(jīng)驗(yàn)風(fēng)險(xiǎn)）的同時(shí)，降低學(xué)習(xí)機(jī)器的VC維，可以使學(xué)習(xí)機(jī)器在整個(gè)樣本集 上的期望風(fēng)險(xiǎn)得到控制。）和VC維理論（注：VC維（Vapnik-Chervonenkis Dimension）的概念是為了研究 學(xué)習(xí)過(guò)程一致收斂的速度和推廣性，由統(tǒng)計(jì)學(xué)理論定義的有關(guān)函數(shù)集學(xué)習(xí)性能的一個(gè)重要指標(biāo)。），具有 良好的泛化能力，即由有限的訓(xùn)練樣本得到的小的誤差能夠保證使獨(dú)立的測(cè)試集仍保持

6、小的 誤差。（2）支持向量機(jī)的求解問(wèn)題對(duì)應(yīng)的是一個(gè)凸優(yōu)化問(wèn)題，因此局部最優(yōu)解一定是全局最優(yōu) 解。（3）核函數(shù)的成功應(yīng)用，將非線性問(wèn)題轉(zhuǎn)化為線性問(wèn)題求解。（4）分類(lèi)間隔的最大化，使 得支持向量機(jī)算法具有較好的魯棒性。由于5丫忖自身的突出優(yōu)勢(shì)，因此被越來(lái)越多的研究人員 作為強(qiáng)有力的學(xué)習(xí)工具，以解決模式識(shí)別、回歸估計(jì)等領(lǐng)域的難題。1 .最優(yōu)分類(lèi)面和廣義最優(yōu)分類(lèi)面SVM是從線性可分情況下的最優(yōu)分類(lèi)面發(fā)展而來(lái)的，基本思想可用圖1來(lái)說(shuō)明。對(duì)于一維 空間中的點(diǎn)，二維空間中的直線，三維空間中的平面，以及高維空間中的超平面，圖中實(shí)心 點(diǎn)和空心點(diǎn)代表兩類(lèi)樣本，H為它們之間的分類(lèi)超平面，H1, H2分別為過(guò)各類(lèi)中離

7、分類(lèi)面最近 的樣本且平行于分類(lèi)面的超平面，它們之間的距離叫做分類(lèi)間隔（margin）。圖1最優(yōu)分類(lèi)面示意圖所謂最優(yōu)分類(lèi)面要求分類(lèi)面不但能將兩類(lèi)正確分開(kāi)，而且使分類(lèi)間隔最大。將兩類(lèi)正確 分開(kāi)是為了保證訓(xùn)練錯(cuò)誤率為0,也就是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小(為0)。使分類(lèi)空隙最大實(shí)際上就是使 推廣性的界中的置信范圍最?。?，從而使真實(shí)風(fēng)險(xiǎn)最小。推廣到高維空間，最優(yōu)分類(lèi)線就成 為最優(yōu)分類(lèi)面。設(shè)線性可分樣本集為(x, y, ),i = 1,n, x e Rd, y e +1,-1是類(lèi)別符號(hào)。d維空間中線性判 別函數(shù)的一般形式為是類(lèi)別符號(hào)。d維空間中線性判別函數(shù)的一般形式為g(x) = w x + b (主: w代表山乩0班

8、空間中權(quán)向量；b代表閾值。)，分類(lèi)線方程為W x + b = 0 ？。將判別函數(shù)進(jìn)行 歸一化，使兩類(lèi)所有樣本都滿足I g(x)1= 1，也就是使離分類(lèi)面最近的樣本的I g(x)1= 1，此時(shí) 分類(lèi)間隔等于2/II wII ？，因此使間隔最大等價(jià)于使II wII (或II攻II2)最小。要求分類(lèi)線對(duì)所有 樣本正確分類(lèi)，就是要求它滿足yi (w - x) + b -1 0, i = 1,2,., n( 1-1)滿足上述條件(1-1)，并且使II W II2最小的分類(lèi)面就叫做最優(yōu)分類(lèi)面，過(guò)兩類(lèi)樣本中離分類(lèi)面最近的點(diǎn)且平行于最優(yōu)分類(lèi)面的超平面斗，H2上的訓(xùn)練樣本點(diǎn)就稱(chēng)作支持向量(supportvect

9、or），因?yàn)樗鼈儭爸С帧绷俗顑?yōu)分類(lèi)面。利用Lagrange （拉格朗日）優(yōu)化方法可以把上述最優(yōu)分類(lèi)面問(wèn)題轉(zhuǎn)化為如下這種較簡(jiǎn)單 的對(duì)偶問(wèn)題，即：在約束條件，Zy a 二 0iii =1a 0, i = 1,2,., n下面對(duì)a （主：對(duì)偶變量即拉格朗日乘子）求解下列函數(shù)的最大值: iQ(a)= Z a-1Zaa y y (xx )？i=1i , j=1若a *為最優(yōu)解，則便=Za * yaii=1即最優(yōu)分類(lèi)面的權(quán)系數(shù)向量是訓(xùn)練樣本向量的線性組合。注釋?zhuān)?-3）式由來(lái)：利用Lagrange函數(shù)計(jì)算如下，L（攻,b,a） = iW22 -2La （y - （x - w） + b）-1）i=1(1-2

10、a)(1-2b)(1-3)(1-4)L (w, b, a) = 0 L (w, b, a) = 06 b6 wZl a y = 0 w = Zl a y xi=1i=1W(a) = 2La -1Zaa yy (x . x )i2 ii =1i , j =1jij i jZl ay =0i=1f (x) = sgn(Z ya. (x xi) + b)i=1實(shí)例計(jì)算：圖略，可參見(jiàn)PPTx1 =(0, 0), y1 = +1x2 =(1, 0), y2 = +1x3 =(2, 0), y3 = -1 x4 =(0, 2), y4 = -1Q(a) = (a +a +a +a )- 1(a2 -4a

11、a + 4a2 + 4a2) 1234222 334可調(diào)用Matlab中的二次規(guī)劃程序，求得al, a2, a3, a4的值，進(jìn)而求得w和b的值。a = 0a： 1V 2a = 3/43a4 = 1/412122 0 這是一個(gè)不等式約束下的二次函數(shù)極值問(wèn)題，存在唯一解。根熱gn-Tucker條件，解中 將只有一部分(通常是很少一部分)a j不為零，這些不為0解所對(duì)應(yīng)的樣本就是支持向量。求 解上述問(wèn)題后得到的最優(yōu)分類(lèi)函數(shù)是：f (x)= sgn(攻* x) + b*= sgnZa *y (x - x) + b*(1-5)i i ii=1根據(jù)前面的分析，非支持向量對(duì)應(yīng)的a i均為0,因此上式中的求

12、和實(shí)際上只對(duì)支持向量 進(jìn)行。b *是分類(lèi)閾值，可以由任意一個(gè)支持向量通過(guò)式(1-1)求得(只有支持向量才滿足其中 的等號(hào)條件)，或通過(guò)兩類(lèi)中任意一對(duì)支持向量取中值求得。從前面的分析可以看出，最優(yōu)分類(lèi)面是在線性可分的前提下討論的，在線性不可分的情 況下，就是某些訓(xùn)練樣本不能滿足式(1-1)的條件，因此可以在條件中增加一個(gè)松弛項(xiàng)參數(shù) 70，變成:y.(攻- x.) + b -1 + . 0,i = 1,2,.,n(1-6)對(duì)于足夠小的s0,只要使F () = Z。(1-7)=1最小就可以使錯(cuò)分樣本數(shù)最小。對(duì)應(yīng)線性可分情況下的使分類(lèi)間隔最大，在線性不可分情況下可引入約束：w l|2 c( 1-8)在

13、約束條件(1-6)冪1(1-8)下對(duì)式(1-7)求極小，就得到了線性不可分情況下的最優(yōu)分類(lèi) 面，稱(chēng)作廣義最優(yōu)分類(lèi)面。為方便計(jì)算，取s=1。為使計(jì)算進(jìn)一步簡(jiǎn)化，廣義最優(yōu)分類(lèi)面問(wèn)題可以迸一步演化成在條件(1-6)的約束條件下 求下列函數(shù)的極小值：1n。(攻,e)二(攻,攻)+ C(X 8 )(1-9)2i i=1其中C為某個(gè)指定的常數(shù)，它實(shí)際上起控制對(duì)錈分樣本懲罰的程度的作用，實(shí)現(xiàn)在錯(cuò)分樣 本的比例與算法復(fù)雜度之間的折衷。求解這一優(yōu)化問(wèn)題的方法與求解最優(yōu)分類(lèi)面時(shí)的方法相同，都是轉(zhuǎn)化為一個(gè)二次函數(shù)極值問(wèn)題，其結(jié) 果與可分情況下得到的(1-2)到(1-5)幾乎完全相同，但是條件(1-2b)變?yōu)椋? a

14、 i C,i = 1,.,n(1-10)2.SVM的非線性映射對(duì)于非線性問(wèn)題，可以通過(guò)非線性交換轉(zhuǎn)化為某個(gè)高維空間中的線性問(wèn)題，在變換空間 求最優(yōu)分類(lèi)超平面。這種變換可能比較復(fù)雜，因此這種思路在一般情況下不易實(shí)現(xiàn)。但是我 們可以看到，在上面對(duì)偶問(wèn)題中，不論是尋優(yōu)目標(biāo)函數(shù)(1-3)還是分類(lèi)函數(shù)(1-5)都只涉及 訓(xùn)練樣本之間的內(nèi)積運(yùn)算(xxi)。設(shè)有非線性映射中：Rd f H將輸入空間的樣本映射到高維 (可能是無(wú)窮維)的特征空間H中，當(dāng)在特征空間H中構(gòu)造最優(yōu)超平面時(shí)，訓(xùn)練算法僅使用空間 中的點(diǎn)積，即。(%,) 小(、)，而沒(méi)有單獨(dú)的。(xi)出現(xiàn)。因此，如果能夠找到一個(gè)函數(shù)K使得K(% . %.

15、) =。(%)。(X.)(111)這樣在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算，而這種內(nèi)積運(yùn)算是可以用原空間中的函數(shù)實(shí) 現(xiàn)的，我們甚至沒(méi)有必要知道變換中的形式。根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)K(%,%.) 滿足Mercer條件，它就對(duì)應(yīng)某一變換空間中的內(nèi)積。因此，在最優(yōu)超平面中采用適當(dāng)?shù)膬?nèi)積 函數(shù)K(%,%.)就可以實(shí)現(xiàn)某一非線性變換后的線性分類(lèi)，而計(jì)算復(fù)雜度卻沒(méi)有增加。此時(shí)目 標(biāo)函數(shù)(1-3)變?yōu)椋篞(a)=ii =1jyiyjK( x. , x.)(1-12)而相應(yīng)的分類(lèi)函數(shù)也變?yōu)閒(x) = sgnZa*y K(x - x ) + b*(1-13)i=1算法的其他條件不變，這就是SVM。概括

16、地說(shuō)SVM就是通過(guò)某種事先選擇的非線性映射將輸入向量映射到一個(gè)高維特征空 間，在這個(gè)特征空間中構(gòu)造最優(yōu)分類(lèi)超平面。在形式上SVM分類(lèi)函數(shù)類(lèi)似于一個(gè)神經(jīng)網(wǎng)絡(luò)， 輸出是中間節(jié)點(diǎn)的線性組合，每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)支持向量，如圖2所示圖2 SVM示意圖其中，輸出(決策規(guī)則)：y = sgnZ a y K (x - x.) + b，權(quán)值攻=a y, K (x - x.)為基于s i=1個(gè)支持向量x1, x 2,x,的非線性變換(內(nèi)積)，x = (x 1, x 2,xd )為輸入向量。3 .核函數(shù)選擇滿足Mercer條件的不同內(nèi)積核丞數(shù)，就構(gòu)造了不同的SVM,這樣也就形成了不同的算 法。目前研究最多的核函

17、數(shù)主要有三類(lèi)：(1)多頊?zhǔn)胶撕瘮?shù)K(x, x. ) - (x * xi ) + 1q(114)其中q是多項(xiàng)式的階次，所得到的是q階多項(xiàng)式分類(lèi)器。(2)徑向基函數(shù)(RBF)K(x, x ) = exp - -xJ-(1-15)O 2所得的SVM是一種徑向基分類(lèi)器，它與傳統(tǒng)徑向基函數(shù)方法的基本區(qū)別是，這里每一個(gè)基 函數(shù)的中心對(duì)應(yīng)于一個(gè)支持向量，它們以及輸出權(quán)值都是由算法自動(dòng)確定的。徑向基形式的 內(nèi)積函數(shù)類(lèi)似人的視覺(jué)特性，在實(shí)際應(yīng)用中經(jīng)常用到，但是需要注意的是，選擇不同的S參數(shù) 值，相應(yīng)的分類(lèi)面會(huì)有很大差別。(3)S形核函數(shù)K(x, x ) = tanhv(x - x ) + c(1-16)這時(shí)的S

18、VM算法中包含了一個(gè)隱層的多層感知器網(wǎng)絡(luò)，不但網(wǎng)絡(luò)的權(quán)值、而且網(wǎng)絡(luò)的隱層 結(jié)點(diǎn)數(shù)也是由算法自動(dòng)確定的，而不像傳統(tǒng)的感知器網(wǎng)絡(luò)那樣由人憑借經(jīng)驗(yàn)確定。此外，該 算法不存在困擾神經(jīng)網(wǎng)絡(luò)的局部極小點(diǎn)的問(wèn)題。在上述幾種常用的核函數(shù)中，最為常用的是多項(xiàng)式核函數(shù)和徑向基核函數(shù)。除了上面提 到的三種核函數(shù)外，還有指數(shù)徑向基核函數(shù)、小波核函數(shù)等其它一些核函數(shù)，應(yīng)用相對(duì)較少。 事實(shí)上，需要進(jìn)行訓(xùn)練的樣本集有各式各樣，核函數(shù)也各有優(yōu)劣。B.Bacsens和S.Viaene等人 曾利用LS-SVM分類(lèi)器，采用UCI數(shù)據(jù)庫(kù)，對(duì)線性核函數(shù)、多項(xiàng)式核函數(shù)和徑向基核函數(shù)進(jìn)行了 實(shí)驗(yàn)比較，從實(shí)驗(yàn)結(jié)果來(lái)看，對(duì)不同的數(shù)據(jù)庫(kù)，不同的

19、核函數(shù)各有優(yōu)劣，而徑向基核函數(shù)在 多數(shù)數(shù)據(jù)庫(kù)上得到略為優(yōu)良的性能。三、支持向量機(jī)的應(yīng)用研究現(xiàn)狀SVM方法在理論上具有突出的優(yōu)勢(shì)，貝爾實(shí)驗(yàn)室率先對(duì)美國(guó)郵政手寫(xiě)數(shù)字庫(kù)識(shí)別研究方面 應(yīng)用了5丫忖方法，取得了較大的成功。在隨后的近幾年內(nèi)，有關(guān)SVM的應(yīng)用研究得到了很多領(lǐng) 域的學(xué)者的重視，在人臉檢測(cè)、驗(yàn)證和識(shí)別、說(shuō)話人/語(yǔ)音識(shí)別、文字/手寫(xiě)體識(shí)別、圖像處 理、及其他應(yīng)用研究等方面取得了大量的研究成果，從最初的簡(jiǎn)單模式輸入的直接的SVM方法 研究，進(jìn)入到多種方法取長(zhǎng)補(bǔ)短的聯(lián)合應(yīng)用研究，對(duì)SVM方法也有了很多改進(jìn)。(一)人臉檢測(cè)、驗(yàn)證和識(shí)別Osuna最早將SVM應(yīng)用于人臉檢測(cè).并取得了較好的效果。其方法是汽

20、接訓(xùn)練非線性SVM 分類(lèi)器完成人臉與非人臉的分類(lèi)。由于SVM的訓(xùn)練需要大量的存儲(chǔ)空間，并且非線性SVM分類(lèi) 器需要較多的支持向量，速度很慢。為此，馬勇等提出了一種層次型結(jié)構(gòu)的SVM分類(lèi)器，它由 一個(gè)線性SVM組合和一個(gè)非線性SVM組成。檢測(cè)時(shí)，由前者快速排除掉圖像中絕大部分背景窗 口，而后者只需對(duì)少量的候選區(qū)域做出確認(rèn)；訓(xùn)練時(shí)，在線性SVM組臺(tái)的限定下，與“自舉 （bootstrapping） ”方法相結(jié)合可收集到訓(xùn)練非線性SVM的更有效的非人臉樣本，簡(jiǎn)化SVM訓(xùn)練 的難度，大量實(shí)驗(yàn)結(jié)果表明這種方法不僅具有較高的檢測(cè)率和較低的誤檢率，而且具有較快 的速度。人臉檢測(cè)研究中更復(fù)雜的情況是姿態(tài)的變化

21、。葉航軍等提出了利用支持向量機(jī)方法進(jìn)行 人臉姿態(tài)的判定，將人臉姿態(tài)劃分成6個(gè)類(lèi)別，從一個(gè)多姿態(tài)人臉庫(kù)中手工標(biāo)定訓(xùn)練樣本集和 測(cè)試樣本集，訓(xùn)練基于支持向量機(jī)姿態(tài)分類(lèi)器，分類(lèi)錯(cuò)誤率降低到1.67。明顯優(yōu)于在傳統(tǒng) 方法中效果最好的人工神經(jīng)元網(wǎng)絡(luò)方法。在人臉識(shí)別中，面部特征的提取和識(shí)別可看作是對(duì)3D物體的2D投影圖像進(jìn)行匹配的問(wèn)題。 由于許多不確定性因素的影響，特征的選取與識(shí)別就成為一個(gè)難點(diǎn)。凌旭峰等及張燕昆等分 別提出基于PCA與SVM相結(jié)合的人臉識(shí)別算法，充分利用了PCA在特征提取方面的有效性以及 SVM在處理小樣本問(wèn)題和泛化能力強(qiáng)等方面的優(yōu)勢(shì)，通過(guò)SVM與最近鄰距離分類(lèi)器相結(jié)合，使 得所提出的算

22、法具有比傳統(tǒng)最近鄰分類(lèi)器和BP網(wǎng)絡(luò)分類(lèi)器更高的識(shí)別率。王宏漫等在PCA基礎(chǔ) 上進(jìn)一步做ICA，提取更加有利于分類(lèi)的面部特征的主要獨(dú)立成分；然后采用分階段淘汰的支 持向量機(jī)分類(lèi)機(jī)制進(jìn)行識(shí)別。對(duì)兩組人臉圖像庫(kù)的測(cè)試結(jié)果表明，基于SVM的方法在識(shí)別率和 識(shí)別時(shí)間等方面都取得了較好的效果。（二）說(shuō)話人語(yǔ)音識(shí)別說(shuō)話人識(shí)別屬于連續(xù)輸入信號(hào)的分類(lèi)問(wèn)題，SVM是一個(gè)很好的分類(lèi)器，但不適合處理連續(xù) 輸入樣本。為此，忻棟等引入隱式馬爾可夫模型HMM，建立了5丫忖和HMM的混合模型。HMM適合 處理連續(xù)信號(hào)，而SVM適臺(tái)于分類(lèi)問(wèn)題；HMM的結(jié)果反映了同類(lèi)樣本的相似度，而SVM的輸出結(jié) 果則體現(xiàn)了異類(lèi)樣本間的差異。為

23、了方便與HMM組成混合模型，首先將SVM的輸出形式改為概 率輸出。實(shí)驗(yàn)中使用YOHO數(shù)據(jù)庫(kù)，特征提取采用12階的線性預(yù)測(cè)系數(shù)分析及其微分，組成24 維的特征向量。實(shí)驗(yàn)表明HMM和SVM的結(jié)合達(dá)到了很好的效果。（三）文字手寫(xiě)體識(shí)別貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫(xiě)數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn)，人工識(shí)別平均錯(cuò)誤率是2.5，專(zhuān)門(mén)針對(duì) 該特定問(wèn)題設(shè)計(jì)的5層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為5.1%（其中利用了大量先驗(yàn)知識(shí)），而用3種SVM方法 （采用3種核函數(shù)）得到的錯(cuò)誤率分別為4.0%、4.1%和4.2%,且是直接采用16X16的字符點(diǎn)陣 作為輸入，表明了5丫忖的優(yōu)越性能。手寫(xiě)體數(shù)字。9的特征可以分為結(jié)構(gòu)特征、統(tǒng)計(jì)特征等。柳回春等在UK4

24、理測(cè)試自動(dòng) 分析系統(tǒng)中組合SVM和其他方法成功地進(jìn)行了手寫(xiě)數(shù)字的識(shí)別實(shí)驗(yàn)。另外，在手寫(xiě)漢字識(shí)別方 面，高學(xué)等提出了一種基于SVM的手寫(xiě)漢字的識(shí)別方法，表明了5丫忖對(duì)手寫(xiě)漢字識(shí)別的有效性。(四)圖像處理(1)圖像過(guò)濾。一般的互聯(lián)網(wǎng)色情網(wǎng)圖像過(guò)濾軟件主要采用網(wǎng)址庫(kù)的形式來(lái)封鎖色情網(wǎng)址 或采用入工智能方法對(duì)接收到的中、英文信息進(jìn)行分析甄別。段立娟等提出一種多層次特定 類(lèi)型圖像過(guò)濾法，即以綜合膚色模型檢驗(yàn)，支持向量機(jī)分類(lèi)和最近鄰方法校驗(yàn)的多層次圖像 處理框架，達(dá)到85以上的準(zhǔn)確率。(2)視頻字幕提取。攬頻字幕蘊(yùn)含了豐富語(yǔ)義，可用于對(duì)相應(yīng)視頻流進(jìn)行高級(jí)語(yǔ)義標(biāo)注。 莊越挺等提出并實(shí)踐了基于SVM的視頻字幕

25、自動(dòng)定位和提取的方法。該方法首先將原始圖像幀 分割為N*N的子塊，提取每個(gè)子塊的灰度特征；然后使用預(yù)先訓(xùn)練好的SVM分類(lèi)機(jī)進(jìn)行字幕子 塊和非字幕子塊的分類(lèi)；最后結(jié)合金字塔模型和后期處理過(guò)程，實(shí)現(xiàn)視頻圖像字幕區(qū)域的自 動(dòng)定位提取。實(shí)驗(yàn)表明該方法取得了良好的效果。(3)圖像分類(lèi)和檢索。由于計(jì)算機(jī)自動(dòng)抽取的圖像特征和人所理解的語(yǔ)義間存在巨大的差 距，圖像檢索結(jié)果難以令人滿意。近年來(lái)出現(xiàn)了相關(guān)反饋方法，張磊等以SVM為分類(lèi)器，在每 次反饋中對(duì)用戶(hù)標(biāo)記的正例和反例樣本進(jìn)行學(xué)習(xí)，并根據(jù)學(xué)習(xí)所得的模型進(jìn)行檢索，使用由 9918幅圖像組成的圖像庫(kù)進(jìn)行實(shí)驗(yàn)，結(jié)果表明，在有限訓(xùn)練樣本情況下具有良好的泛化 能力。目

26、前3口虛擬物體圖像應(yīng)用越來(lái)越廣泛，肖俊等提出了一種基于SVM對(duì)相似3D物體識(shí)別與檢 索的算法。該算法首先使用細(xì)節(jié)層次模型對(duì)3D物體進(jìn)行三角面片數(shù)量的約減，然后提取3D物 體的特征，由于所提取的特征維數(shù)很大，因此先用獨(dú)立成分分析進(jìn)行特征約減，然后使肝VM 進(jìn)行識(shí)別與檢索。將該算法用于3D丘陵與山地的地形識(shí)別中，取得了良好效果。(五)其他應(yīng)用研究(1)由于SVM的優(yōu)越性，其應(yīng)用研究目前開(kāi)展已經(jīng)相當(dāng)廣泛。陳光英等設(shè)計(jì)并實(shí)現(xiàn)了一種 基于SVM分類(lèi)機(jī)的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。它收集并計(jì)算除服務(wù)器端口之外TCP / IP的流量特征.使 用SVM算法進(jìn)行分類(lèi)，從而識(shí)別出該連接的服務(wù)類(lèi)型，通過(guò)與該連接服務(wù)器端口所表

27、明服務(wù)類(lèi) 型的比較，檢測(cè)出異常的TCP連接。實(shí)驗(yàn)結(jié)果表明，系統(tǒng)能夠有效地檢測(cè)出異常TCP連接。(2)口令認(rèn)證簡(jiǎn)便易實(shí)現(xiàn)，但容易被盜用。劉學(xué)軍等提出利用SVM進(jìn)行鍵入特性的驗(yàn)真， 并通過(guò)實(shí)驗(yàn)將其與BP、RBF、PNN和LVQ 4種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。證實(shí)了采用SVM進(jìn)行鍵入 特性驗(yàn)真的有效性。(3)李曉黎等提出了一種將SVM與無(wú)監(jiān)督聚類(lèi)相結(jié)合的新分類(lèi)算法，并應(yīng)用于網(wǎng)頁(yè)分類(lèi)問(wèn) 題。該算法首先利用無(wú)監(jiān)督聚類(lèi)分別對(duì)訓(xùn)練集中正例和反例聚類(lèi).然后挑選一些例子訓(xùn)練SVM 并獲得SVM分類(lèi)器。任何網(wǎng)頁(yè)可以通過(guò)比較其與聚類(lèi)中心的距離決定采用無(wú)監(jiān)督聚類(lèi)方法或 SVM分類(lèi)器進(jìn)行分類(lèi)。該算法充分利用了5丫忖準(zhǔn)確率高與無(wú)監(jiān)督聚類(lèi)速度快的優(yōu)點(diǎn)。實(shí)驗(yàn)表明 它不僅具有