支持向量機(jī)(SVM)原理及應(yīng)用概述

支持向量機(jī)(SVM)原理及應(yīng)用一、SVM得產(chǎn)生與發(fā)展自1995年Vapnik(瓦普尼克)在統(tǒng)計(jì)學(xué)習(xí)理論得基礎(chǔ)上提出SVM作為模式識(shí)別得新方法之后,SVM一直倍受關(guān)注。同年,Vapnik與Cortes提出軟間隔(softmargin)SVM,通過引進(jìn)松弛變量度量數(shù)據(jù)得誤分類(分類出現(xiàn)錯(cuò)誤時(shí)大于0),同時(shí)在目標(biāo)函數(shù)中增加一個(gè)分量用來懲罰非零松弛變量(即代價(jià)函數(shù)),SVM得尋優(yōu)過程即就是大得分隔間距與小得誤差補(bǔ)償之間得平衡過程;1996年,Vapnik等人又提出支持向量回歸(SupportVectorRegression,SVR)得方法用于解決擬合問題。SVR同SVM得出發(fā)點(diǎn)都就是尋找最優(yōu)超平面(注:一維空間為點(diǎn);二維空間為線;三維空間為面;高維空間為超平面。),但SVR得目得不就是找到兩種數(shù)據(jù)得分割平面,而就是找到能準(zhǔn)確預(yù)測(cè)數(shù)據(jù)分布得平面,兩者最終都轉(zhuǎn)換為最優(yōu)化問題得求解;1998年,Weston等人根據(jù)SVM原理提出了用于解決多類分類得SVM方法(MultiClassSupportVectorMachines,MultiSVM),通過將多類分類轉(zhuǎn)化成二類分類,將SVM應(yīng)用于多分類問題得判斷:此外,在SVM算法得基本框架下,研究者針對(duì)不同得方面提出了很多相關(guān)得改進(jìn)算法。例如,Suykens提出得最小二乘支持向量機(jī)(LeastSquareSupportVectorMachine,LS—SVM)算法,Joachims等人提出得SVM1ight,張學(xué)工提出得中心支持向量機(jī)(CentralSupportVectorMachine,CSVM),Scholkoph與Smola基于二次規(guī)劃提出得vSVM等。此后,臺(tái)灣大學(xué)林智仁(LinChihJen)教授等對(duì)SVM得典型應(yīng)用進(jìn)行總結(jié),并設(shè)計(jì)開發(fā)出較為完善得SVM工具包,也就就是LIBSVM(ALibraryforSupportVectorMachines)。LIBSVM就是一個(gè)通用得SVM軟件包,可以解決分類、回歸以及分布估計(jì)等問題。二、支持向量機(jī)原理SVM方法就是20世紀(jì)90年代初Vapnik等人根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論提出得一種新得機(jī)器學(xué)習(xí)方法,它以結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則為理論基礎(chǔ),通過適當(dāng)?shù)剡x擇函數(shù)子集及該子集中得判別函數(shù),使學(xué)習(xí)機(jī)器得實(shí)際風(fēng)險(xiǎn)達(dá)到最小,保證了通過有限訓(xùn)練樣本得到得小誤差分類器,對(duì)獨(dú)立測(cè)試集得測(cè)試誤差仍然較小。支持向量機(jī)得基本思想:首先,在線性可分情況下,在原空間尋找兩類樣本得最優(yōu)分類超平面。在線性不可分得情況下,加入了松弛變量進(jìn)行分析,通過使用非線性映射將低維輸入空間得樣本映射到高維屬性空間使其變?yōu)榫€性情況,從而使得在高維屬性空間采用線性算法對(duì)樣本得非線性進(jìn)行分析成為可能,并在該特征空間中尋找最優(yōu)分類超平面。其次,它通過使用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理在屬性空間構(gòu)建最優(yōu)分類超平面,使得分類器得到全局最優(yōu),并在整個(gè)樣本空間得期望風(fēng)險(xiǎn)以某個(gè)概率滿足一定上界。其突出得優(yōu)點(diǎn)表現(xiàn)在:(1)基于統(tǒng)計(jì)學(xué)習(xí)理論中結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則(注:所謂得結(jié)構(gòu)風(fēng)險(xiǎn)最小化就就是在保證分類精度(經(jīng)驗(yàn)風(fēng)險(xiǎn))得同時(shí),降低學(xué)習(xí)機(jī)器得VC維,可以使學(xué)習(xí)機(jī)器在整個(gè)樣本集上得期望風(fēng)險(xiǎn)得到控制。)與VC維理論(注:VC維(VapnikChervonenkisDimension)得概念就是為了研究學(xué)習(xí)過程一致收斂得速度與推廣性,由統(tǒng)計(jì)學(xué)理論定義得有關(guān)函數(shù)集學(xué)習(xí)性能得一個(gè)重要指標(biāo)。),具有良好得泛化能力,即由有限得訓(xùn)練樣本得到得小得誤差能夠保證使獨(dú)立得測(cè)試集仍保持小得誤差。(2)支持向量機(jī)得求解問題對(duì)應(yīng)得就是一個(gè)凸優(yōu)化問題,因此局部最優(yōu)解一定就是全局最優(yōu)解。(3)核函數(shù)得成功應(yīng)用,將非線性問題轉(zhuǎn)化為線性問題求解。(4)分類間隔得最大化,使得支持向量機(jī)算法具有較好得魯棒性。由于SVM自身得突出優(yōu)勢(shì),因此被越來越多得研究人員作為強(qiáng)有力得學(xué)習(xí)工具,以解決模式識(shí)別、回歸估計(jì)等領(lǐng)域得難題。1.最優(yōu)分類面與廣義最優(yōu)分類面SVM就是從線性可分情況下得最優(yōu)分類面發(fā)展而來得,基本思想可用圖1來說明。對(duì)于一維空間中得點(diǎn),二維空間中得直線,三維空間中得平面,以及高維空間中得超平面,圖中實(shí)心點(diǎn)與空心點(diǎn)代表兩類樣本,H為它們之間得分類超平面,H1,H2分別為過各類中離分類面最近得樣本且平行于分類面得超平面,它們之間得距離△叫做分類間隔(margin)。圖1最優(yōu)分類面示意圖W所謂最優(yōu)分類面要求分類面不但能將兩類正確分開,而且使分類間隔最大。將兩類正確分開就是為了保證訓(xùn)練錯(cuò)誤率為0,也就就是經(jīng)驗(yàn)風(fēng)險(xiǎn)最小(為O)。使分類空隙最大實(shí)際上就就是使推廣性得界中得置信范圍最??？,從而使真實(shí)風(fēng)險(xiǎn)最小。推廣到高維空間,最優(yōu)分類線就成為最優(yōu)分類面。設(shè)線性可分樣本集為就是類別符號(hào)。d維空間中線性判別函數(shù)得一般形式為就是類別符號(hào)。d維空間中線性判別函數(shù)得一般形式為(主:w代表Hilbert空間中權(quán)向量;b代表閾值。),分類線方程為？。將判別函數(shù)進(jìn)行歸一化,使兩類所有樣本都滿足,也就就是使離分類面最近得樣本得,此時(shí)分類間隔等于？,因此使間隔最大等價(jià)于使(或)最小。要求分類線對(duì)所有樣本正確分類,就就是要求它滿足(11)滿足上述條件(11),并且使最小得分類面就叫做最優(yōu)分類面,過兩類樣本中離分類面最近得點(diǎn)且平行于最優(yōu)分類面得超平面H1,H2上得訓(xùn)練樣本點(diǎn)就稱作支持向量(supportvector),因?yàn)樗鼈儭爸С帧绷俗顑?yōu)分類面。利用Lagrange(拉格朗日)優(yōu)化方法可以把上述最優(yōu)分類面問題轉(zhuǎn)化為如下這種較簡單得對(duì)偶問題,即:在約束條件,(12a)(12b)下面對(duì)(主:對(duì)偶變量即拉格朗日乘子)求解下列函數(shù)得最大值:？(13)若為最優(yōu)解,則(14)即最優(yōu)分類面得權(quán)系數(shù)向量就是訓(xùn)練樣本向量得線性組合。注釋(13)式由來:利用Lagrange函數(shù)計(jì)算如下,實(shí)例計(jì)算:圖略,可參見PPTx1=(0,0),y1=+1x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=1x4=(0,2),y4=1可調(diào)用Matlab中得二次規(guī)劃程序,求得a1,a2,a3,a4得值,進(jìn)而求得w與b得值。這就是一個(gè)不等式約束下得二次函數(shù)極值問題,存在唯一解。根據(jù)kühnTucker條件,解中將只有一部分(通常就是很少一部分)不為零,這些不為0解所對(duì)應(yīng)得樣本就就是支持向量。求解上述問題后得到得最優(yōu)分類函數(shù)就是:(15)根據(jù)前面得分析,非支持向量對(duì)應(yīng)得均為0,因此上式中得求與實(shí)際上只對(duì)支持向量進(jìn)行。就是分類閾值,可以由任意一個(gè)支持向量通過式(11)求得(只有支持向量才滿足其中得等號(hào)條件),或通過兩類中任意一對(duì)支持向量取中值求得。從前面得分析可以瞧出,最優(yōu)分類面就是在線性可分得前提下討論得,在線性不可分得情況下,就就是某些訓(xùn)練樣本不能滿足式(11)得條件,因此可以在條件中增加一個(gè)松弛項(xiàng)參數(shù),變成:(16)對(duì)于足夠小得s>0,只要使(17)最小就可以使錯(cuò)分樣本數(shù)最小。對(duì)應(yīng)線性可分情況下得使分類間隔最大,在線性不可分情況下可引入約束:(18)在約束條件(16)冪1(18)下對(duì)式(17)求極小,就得到了線性不可分情況下得最優(yōu)分類面,稱作廣義最優(yōu)分類面。為方便計(jì)算,取s=1。為使計(jì)算進(jìn)一步簡化,廣義最優(yōu)分類面問題可以迸一步演化成在條件(16)得約束條件下求下列函數(shù)得極小值:(19)其中C為某個(gè)指定得常數(shù),它實(shí)際上起控制對(duì)錈分樣本懲罰得程度得作用,實(shí)現(xiàn)在錯(cuò)分樣本得比例與算法復(fù)雜度之間得折衷。求解這一優(yōu)化問題得方法與求解最優(yōu)分類面時(shí)得方法相同,都就是轉(zhuǎn)化為一個(gè)二次函數(shù)極值問題,其結(jié)果與可分情況下得到得(12)到(15)幾乎完全相同,但就是條件(12b)變?yōu)?(110)2.SVM得非線性映射對(duì)于非線性問題,可以通過非線性交換轉(zhuǎn)化為某個(gè)高維空間中得線性問題,在變換空間求最優(yōu)分類超平面。這種變換可能比較復(fù)雜,因此這種思路在一般情況下不易實(shí)現(xiàn)。但就是我們可以瞧到,在上面對(duì)偶問題中,不論就是尋優(yōu)目標(biāo)函數(shù)(13)還就是分類函數(shù)(15)都只涉及訓(xùn)練樣本之間得內(nèi)積運(yùn)算。設(shè)有非線性映射將輸入空間得樣本映射到高維(可能就是無窮維)得特征空間H中,當(dāng)在特征空間H中構(gòu)造最優(yōu)超平面時(shí),訓(xùn)練算法僅使用空間中得點(diǎn)積,即,而沒有單獨(dú)得出現(xiàn)。因此,如果能夠找到一個(gè)函數(shù)K使得(111)這樣在高維空間實(shí)際上只需進(jìn)行內(nèi)積運(yùn)算,而這種內(nèi)積運(yùn)算就是可以用原空間中得函數(shù)實(shí)現(xiàn)得,我們甚至沒有必要知道變換中得形式。根據(jù)泛函得有關(guān)理論,只要一種核函數(shù)滿足Mercer條件,它就對(duì)應(yīng)某一變換空間中得內(nèi)積。因此,在最優(yōu)超平面中采用適當(dāng)?shù)脙?nèi)積函數(shù)就可以實(shí)現(xiàn)某一非線性變換后得線性分類,而計(jì)算復(fù)雜度卻沒有增加。此時(shí)目標(biāo)函數(shù)(13)變?yōu)?(112)而相應(yīng)得分類函數(shù)也變?yōu)?113)算法得其她條件不變,這就就是SVM。概括地說SVM就就是通過某種事先選擇得非線性映射將輸入向量映射到一個(gè)高維特征空間,在這個(gè)特征空間中構(gòu)造最優(yōu)分類超平面。在形式上SVM分類函數(shù)類似于一個(gè)神經(jīng)網(wǎng)絡(luò),輸出就是中間節(jié)點(diǎn)得線性組合,每個(gè)中間節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)支持向量,如圖2所示圖2SVM示意圖其中,輸出(決策規(guī)則):,權(quán)值,為基于s個(gè)支持向量得非線性變換(內(nèi)積),為輸入向量。3.核函數(shù)選擇滿足Mercer條件得不同內(nèi)積核丞數(shù),就構(gòu)造了不同得SVM,這樣也就形成了不同得算法。目前研究最多得核函數(shù)主要有三類:(1)多頊?zhǔn)胶撕瘮?shù)(114)其中q就是多項(xiàng)式得階次,所得到得就是q階多項(xiàng)式分類器。(2)徑向基函數(shù)(RBF)(115)所得得SVM就是一種徑向基分類器,它與傳統(tǒng)徑向基函數(shù)方法得基本區(qū)別就是,這里每一個(gè)基函數(shù)得中心對(duì)應(yīng)于一個(gè)支持向量,它們以及輸出權(quán)值都就是由算法自動(dòng)確定得。徑向基形式得內(nèi)積函數(shù)類似人得視覺特性,在實(shí)際應(yīng)用中經(jīng)常用到,但就是需要注意得就是,選擇不同得S參數(shù)值,相應(yīng)得分類面會(huì)有很大差別。(3)S形核函數(shù)(116)這時(shí)得SVM算法中包含了一個(gè)隱層得多層感知器網(wǎng)絡(luò),不但網(wǎng)絡(luò)得權(quán)值、而且網(wǎng)絡(luò)得隱層結(jié)點(diǎn)數(shù)也就是由算法自動(dòng)確定得,而不像傳統(tǒng)得感知器網(wǎng)絡(luò)那樣由人憑借經(jīng)驗(yàn)確定。此外,該算法不存在困擾神經(jīng)網(wǎng)絡(luò)得局部極小點(diǎn)得問題。在上述幾種常用得核函數(shù)中,最為常用得就是多項(xiàng)式核函數(shù)與徑向基核函數(shù)。除了上面提到得三種核函數(shù)外,還有指數(shù)徑向基核函數(shù)、小波核函數(shù)等其它一些核函數(shù),應(yīng)用相對(duì)較少。事實(shí)上,需要進(jìn)行訓(xùn)練得樣本集有各式各樣,核函數(shù)也各有優(yōu)劣。B、Bacsens與S、Viaene等人曾利用LSSVM分類器,采用UCI數(shù)據(jù)庫,對(duì)線性核函數(shù)、多項(xiàng)式核函數(shù)與徑向基核函數(shù)進(jìn)行了實(shí)驗(yàn)比較,從實(shí)驗(yàn)結(jié)果來瞧,對(duì)不同得數(shù)據(jù)庫,不同得核函數(shù)各有優(yōu)劣,而徑向基核函數(shù)在多數(shù)數(shù)據(jù)庫上得到略為優(yōu)良得性能。三、支持向量機(jī)得應(yīng)用研究現(xiàn)狀SVM方法在理論上具有突出得優(yōu)勢(shì),貝爾實(shí)驗(yàn)室率先對(duì)美國郵政手寫數(shù)字庫識(shí)別研究方面應(yīng)用了SVM方法,取得了較大得成功。在隨后得近幾年內(nèi),有關(guān)SVM得應(yīng)用研究得到了很多領(lǐng)域得學(xué)者得重視,在人臉檢測(cè)、驗(yàn)證與識(shí)別、說話人/語音識(shí)別、文字/手寫體識(shí)別、圖像處理、及其她應(yīng)用研究等方面取得了大量得研究成果,從最初得簡單模式輸入得直接得SVM方法研究,進(jìn)入到多種方法取長補(bǔ)短得聯(lián)合應(yīng)用研究,對(duì)SVM方法也有了很多改進(jìn)。(一)人臉檢測(cè)、驗(yàn)證與識(shí)別Osuna最早將SVM應(yīng)用于人臉檢測(cè).并取得了較好得效果。其方法就是汽接訓(xùn)練非線性SVM分類器完成人臉與非人臉得分類。由于SVM得訓(xùn)練需要大量得存儲(chǔ)空間,并且非線性SVM分類器需要較多得支持向量,速度很慢。為此,馬勇等提出了一種層次型結(jié)構(gòu)得SVM分類器,它由一個(gè)線性SVM組合與一個(gè)非線性SVM組成。檢測(cè)時(shí),由前者快速排除掉圖像中絕大部分背景窗口,而后者只需對(duì)少量得候選區(qū)域做出確認(rèn);訓(xùn)練時(shí),在線性SVM組臺(tái)得限定下,與“自舉(bootstrapping)”方法相結(jié)合可收集到訓(xùn)練非線性SVM得更有效得非人臉樣本,簡化SVM訓(xùn)練得難度,大量實(shí)驗(yàn)結(jié)果表明這種方法不僅具有較高得檢測(cè)率與較低得誤檢率,而且具有較快得速度。人臉檢測(cè)研究中更復(fù)雜得情況就是姿態(tài)得變化。葉航軍等提出了利用支持向量機(jī)方法進(jìn)行人臉姿態(tài)得判定,將人臉姿態(tài)劃分成6個(gè)類別,從一個(gè)多姿態(tài)人臉庫中手工標(biāo)定訓(xùn)練樣本集與測(cè)試樣本集,訓(xùn)練基于支持向量機(jī)姿態(tài)分類器,分類錯(cuò)誤率降低到1、67％。明顯優(yōu)于在傳統(tǒng)方法中效果最好得人工神經(jīng)元網(wǎng)絡(luò)方法。在人臉識(shí)別中,面部特征得提取與識(shí)別可瞧作就是對(duì)3D物體得2D投影圖像進(jìn)行匹配得問題。由于許多不確定性因素得影響,特征得選取與識(shí)別就成為一個(gè)難點(diǎn)。凌旭峰等及張燕昆等分別提出基于PCA與SVM相結(jié)合得人臉識(shí)別算法,充分利用了PCA在特征提取方面得有效性以及SVM在處理小樣本問題與泛化能力強(qiáng)等方面得優(yōu)勢(shì),通過SVM與最近鄰距離分類器相結(jié)合,使得所提出得算法具有比傳統(tǒng)最近鄰分類器與BP網(wǎng)絡(luò)分類器更高得識(shí)別率。王宏漫等在PCA基礎(chǔ)上進(jìn)一步做ICA,提取更加有利于分類得面部特征得主要獨(dú)立成分;然后采用分階段淘汰得支持向量機(jī)分類機(jī)制進(jìn)行識(shí)別。對(duì)兩組人臉圖像庫得測(cè)試結(jié)果表明,基于SVM得方法在識(shí)別率與識(shí)別時(shí)間等方面都取得了較好得效果。(二)說話人／語音識(shí)別說話人識(shí)別屬于連續(xù)輸入信號(hào)得分類問題,SVM就是一個(gè)很好得分類器,但不適合處理連續(xù)輸入樣本。為此,忻棟等引入隱式馬爾可夫模型HMM,建立了SVM與HMM得混合模型。HMM適合處理連續(xù)信號(hào),而SVM適臺(tái)于分類問題;HMM得結(jié)果反映了同類樣本得相似度,而SVM得輸出結(jié)果則體現(xiàn)了異類樣本間得差異。為了方便與HMM組成混合模型,首先將SVM得輸出形式改為概率輸出。實(shí)驗(yàn)中使用YOHO數(shù)據(jù)庫,特征提取采用12階得線性預(yù)測(cè)系數(shù)分析及其微分,組成24維得特征向量。實(shí)驗(yàn)表明HMM與SVM得結(jié)合達(dá)到了很好得效果。(三)文字／手寫體識(shí)別貝爾實(shí)驗(yàn)室對(duì)美國郵政手寫數(shù)字庫進(jìn)行得實(shí)驗(yàn),人工識(shí)別平均錯(cuò)誤率就是2、5％,專門針對(duì)該特定問題設(shè)計(jì)得5層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為5、1％(其中利用了大量先驗(yàn)知識(shí)),而用3種SVM方法(采用3種核函數(shù))得到得錯(cuò)誤率分別為4、0％、4、1％與4、2%,且就是直接采用16×16得字符點(diǎn)陣作為輸入,表明了SVM得優(yōu)越性能。手寫體數(shù)字O～9得特征可以分為結(jié)構(gòu)特征、統(tǒng)計(jì)特征等。柳回春等在ＵＫ心理測(cè)試自動(dòng)分析系統(tǒng)中組合SVM與其她方法成功地進(jìn)行了手寫數(shù)字得識(shí)別實(shí)驗(yàn)。另外,在手寫漢字識(shí)別方面,高學(xué)等提出了一種基于SVM得手寫漢字得識(shí)別方法,表明了SVM對(duì)手寫漢字識(shí)別得有效性。(四)圖像處理(1)圖像過濾。一般得互聯(lián)網(wǎng)色情網(wǎng)圖像過濾軟件主要采用網(wǎng)址庫得形式來封鎖色情網(wǎng)址或采用入工智能方法對(duì)接收到得中、英文信息進(jìn)行分析甄別。段立娟等提出一種多層次特定類型圖像過濾法,即以綜合膚色模型檢驗(yàn),支持向量機(jī)分類與最近鄰方法校驗(yàn)得多層次圖像處理框架,達(dá)到85％以上得準(zhǔn)確率。(2)視頻字幕提取。攬頻字幕蘊(yùn)含了豐富語義,可用于對(duì)相應(yīng)視頻流進(jìn)行高級(jí)語義標(biāo)注。莊越挺等提出并實(shí)踐了基于SVM得視頻字幕自動(dòng)定位與提取得方法。該方法首先將原始圖像幀分割為N*N得子塊,提取每個(gè)子塊得灰度特征;然后使用預(yù)先訓(xùn)練好得SVM分類機(jī)進(jìn)行字幕子塊與非字幕子塊得分類;最后結(jié)合金字塔模型與后期處理過程,實(shí)現(xiàn)視頻圖像字幕區(qū)域得自動(dòng)定位提取。實(shí)驗(yàn)表明該方法取得了良好得效果。(3)圖像分類與檢索。由于計(jì)算機(jī)自動(dòng)抽取得圖像特征與人所理解得語義間存在巨大得差距,圖像檢索結(jié)果難以令人滿意。近年來出現(xiàn)了相關(guān)反饋方法,張磊等以SVM為分類器,在每次反饋中對(duì)用戶標(biāo)記得正例與反例樣本進(jìn)行學(xué)習(xí),并根據(jù)學(xué)習(xí)所得得模型進(jìn)行檢索,使用由９９１８幅圖像組成得圖像庫進(jìn)行實(shí)驗(yàn),結(jié)果表明,在有限訓(xùn)練樣本情況下具有良好得泛化能力。目前3D虛擬物體圖像應(yīng)用越來越廣泛,肖俊等提出了一種基于SVM對(duì)相似3D物體識(shí)別與檢索得算法。該算法首先使用細(xì)節(jié)層次模型對(duì)3D物體進(jìn)行三角面片數(shù)量得約減,然后提取3D物體得特征,由于所提取得特征維數(shù)很大,因此先用獨(dú)立成分分析進(jìn)行特征約減,然后使用SVM進(jìn)行識(shí)別與檢索。將該算法用于3D丘陵與山地得地形識(shí)別中,取得了良好效果。(五)其她應(yīng)用研究(1)由于SVM得優(yōu)越性,其應(yīng)用研究目前開展已經(jīng)相當(dāng)廣泛。陳光英等設(shè)計(jì)并實(shí)現(xiàn)了一種基于SVM分類機(jī)得網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)。它收集并計(jì)算除服務(wù)器端口之外TCP／IP得流量特征.使用SVM算法進(jìn)行分類,從而識(shí)別出該連接得服務(wù)類型,通過與該連接服務(wù)器端口所表明服務(wù)類型得比較,檢測(cè)出異常得TCP連接。實(shí)驗(yàn)結(jié)果表明,系統(tǒng)能夠有效地檢測(cè)出異常TCP連接。(2)口令認(rèn)證簡便易實(shí)現(xiàn),但容易被盜用。劉學(xué)軍等提出利用SVM進(jìn)行鍵入特性得驗(yàn)真,并通過實(shí)驗(yàn)將其與BP、RBF、PNN與LVQ4種神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比。證實(shí)了采用SVM進(jìn)行鍵入特性驗(yàn)真得有效性。(3)李曉黎等提出了一種將SVM與無監(jiān)督聚類相結(jié)合得新分類算法,并應(yīng)用于網(wǎng)頁分類問題。該算法首先利用無監(jiān)督聚類分別對(duì)訓(xùn)練集中正例與反例聚類.然后挑選一些例子訓(xùn)練SVM并獲得SVM分類器。任何網(wǎng)頁可以通過比較其與聚類中心得距離決定采用無監(jiān)督聚類方法或SVM分類器進(jìn)行分類。該算法充分利用了SVM準(zhǔn)確率高與無監(jiān)督聚類速度快得優(yōu)點(diǎn)。實(shí)驗(yàn)表明它不僅具有較高得訓(xùn)練效率,而且有很高得精確度。(4)劉江華等提出并實(shí)現(xiàn)一個(gè)用于人機(jī)交互得