支持向量機(jī)算法原理_相關(guān)文獻(xiàn)

1、支持向量機(jī)算法理論與算法研究摘要支持向量機(jī)是建立在統(tǒng)計(jì)學(xué)習(xí)理論VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原理基礎(chǔ)上的機(jī)器學(xué)習(xí)方法。它在解決小樣本、非線性和高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并在很大程度上克服了“維數(shù)災(zāi)難”和“過(guò)學(xué)習(xí)”等問(wèn)題。止匕外，它具有堅(jiān)實(shí)的理論基礎(chǔ)，簡(jiǎn)單明了的數(shù)學(xué)模型，因此，在模式識(shí)別、回歸分析、函數(shù)估計(jì)、時(shí)間序列預(yù)測(cè)等領(lǐng)域都得到了長(zhǎng)足的發(fā)展，并被廣泛應(yīng)用于文本識(shí)別、手寫(xiě)字體識(shí)別、人臉圖像識(shí)別、基因分類及時(shí)間序列預(yù)測(cè)等。標(biāo)準(zhǔn)的支持向量機(jī)學(xué)習(xí)算法問(wèn)題可以歸結(jié)為求解一個(gè)受約束的二次型規(guī)劃問(wèn)題。對(duì)于小規(guī)模的二次優(yōu)化問(wèn)題，利用牛頓法、內(nèi)點(diǎn)法等成熟的經(jīng)典最優(yōu)化算法便能夠很好的求解。但是當(dāng)訓(xùn)練集

2、規(guī)模很大時(shí)，就會(huì)出現(xiàn)訓(xùn)練速度慢、算法復(fù)雜、效率低下等問(wèn)題。目前一些主流的訓(xùn)練算法都是將原有大規(guī)模的QP問(wèn)題分解成一系列小的QP問(wèn)題，按照某種迭代策略，反復(fù)求解小的QP問(wèn)題，構(gòu)造出原有大規(guī)模的QP問(wèn)題的近似解，并使該近似解逐漸收斂到最優(yōu)解。但是如何對(duì)大規(guī)模的QP問(wèn)題進(jìn)行分解以及如何選擇合適的工作集是當(dāng)前訓(xùn)練算法所面臨的主要問(wèn)題，并且也是各個(gè)算法優(yōu)劣的表現(xiàn)所在。另外，現(xiàn)有的大規(guī)模問(wèn)題訓(xùn)練算法并不能徹底解決所面臨的問(wèn)題，因此，在原有算法上進(jìn)行合理的改進(jìn)或研究新的訓(xùn)練算法勢(shì)在必行。本文首先對(duì)支持向量機(jī)的理論進(jìn)行系統(tǒng)的介紹，進(jìn)而對(duì)當(dāng)今SVMWI練算法進(jìn)行綜述，并對(duì)未來(lái)的研究方向進(jìn)行展望。關(guān)鍵詞模式識(shí)別；

3、支持向量機(jī)；支持向量分類；支持向量回歸1統(tǒng)計(jì)學(xué)習(xí)理論（SLT）簡(jiǎn)介131.1目樂(lè)現(xiàn)實(shí)世界中存在大量我們尚無(wú)法準(zhǔn)確認(rèn)識(shí)但卻可以進(jìn)行觀測(cè)的事物，如何從一些觀測(cè)數(shù)據(jù)（樣本）出發(fā)得出目前尚不能通過(guò)原理分析得到的規(guī)律，進(jìn)而利用這些規(guī)律預(yù)測(cè)未來(lái)的數(shù)據(jù)，這是統(tǒng)計(jì)模式識(shí)別（基于數(shù)據(jù)的機(jī)器學(xué)習(xí)的特例）需要解決的問(wèn)題。統(tǒng)計(jì)是我們面對(duì)數(shù)據(jù)而又缺乏理論模型時(shí)最基本的（也是唯一的）分析手段。Vapnik等人早在20世紀(jì)60年代就開(kāi)始研究有限樣本情況下的機(jī)器學(xué)習(xí)問(wèn)題，但這些研究長(zhǎng)期沒(méi)有得到充分的重視。近十年來(lái)，有限樣本情況下的機(jī)器學(xué)習(xí)理論逐漸成熟起來(lái)，形成了一個(gè)較完善的SL琳系。而同時(shí)，神經(jīng)網(wǎng)絡(luò)等較新興的機(jī)器學(xué)習(xí)方法的研

4、究則遇到一些重要的困難，比如如何確定網(wǎng)絡(luò)結(jié)構(gòu)的問(wèn)題、過(guò)擬合與欠擬合問(wèn)題、局部極小點(diǎn)問(wèn)題等。在這種情況下，試圖從更本質(zhì)上研究機(jī)器學(xué)習(xí)的SL巾系逐步得到重視。19921995年，Vapnik等在SLT勺基礎(chǔ)上發(fā)展了SVMJ法，在解決小樣本、非線性及高維模式識(shí)別問(wèn)題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問(wèn)題。很多學(xué)者認(rèn)為，它們正在成為繼模式識(shí)別和神經(jīng)網(wǎng)絡(luò)研究之后機(jī)器學(xué)習(xí)領(lǐng)域中新的研究熱點(diǎn)，并將推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)有重大的發(fā)展。神經(jīng)網(wǎng)絡(luò)研究容易出現(xiàn)過(guò)擬合問(wèn)題，是由于學(xué)習(xí)樣本不充分和學(xué)習(xí)機(jī)器設(shè)計(jì)不合理的原因造成的，由于此矛盾的存在，所以造成在有限樣本情況下：1）經(jīng)驗(yàn)風(fēng)險(xiǎn)最小不一

5、定意味著期望風(fēng)險(xiǎn)最??；2）學(xué)習(xí)機(jī)器的復(fù)雜性不但與所研究的系統(tǒng)有關(guān)，而且要和有限的學(xué)習(xí)樣本相適應(yīng)。SL巾系及其SV悔法在解決“小樣本難題”過(guò)程中所取得的核函數(shù)應(yīng)用等方面的突出進(jìn)展令人鼓舞，已被認(rèn)為是目前針對(duì)小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。1.2原理Vapnik的SLT勺核心內(nèi)容包括下列四個(gè)方面：1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件；2)在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論；3)在這些界的基礎(chǔ)上建立的小樣本歸納推理原則；4)實(shí)現(xiàn)這些新的原則的實(shí)際方法(算法)。設(shè)訓(xùn)練樣本集為(y1,X1，(yn,Xn)xwRm,ywR,其擬合(建模)的數(shù)學(xué)實(shí)質(zhì)是從函數(shù)集中選出合適的函數(shù)f(x),

6、使風(fēng)險(xiǎn)函數(shù)：Rf=XY(y-f(x)P(x,y)dxdy(1)為最小。但因其中的幾率分布函數(shù)P(x,y)為未知，上式無(wú)法計(jì)算，更無(wú)法求其極小。傳統(tǒng)的統(tǒng)計(jì)數(shù)學(xué)遂假定上述風(fēng)險(xiǎn)函數(shù)可用經(jīng)驗(yàn)風(fēng)險(xiǎn)函數(shù)Rejf代替：Rempf(y-f(xi)2(2)niA根據(jù)大數(shù)定律，式(2)只有當(dāng)樣本數(shù)n趨于無(wú)窮大且函數(shù)集足夠小時(shí)才成立。這實(shí)際上是假定最小二乘意義的擬合誤差最小作為建模的最佳判據(jù)，結(jié)果導(dǎo)致擬合能力過(guò)強(qiáng)的算法的預(yù)報(bào)能力反而降低。為此，SLT用結(jié)構(gòu)風(fēng)險(xiǎn)函數(shù)Rhf代替Rempf,并證明了Rhf可用下列函數(shù)求極小而得：_一,Jh(ln2n/h+1)ln(5/4)HSinJRempf一-j(3)此處n為訓(xùn)練樣本數(shù)

7、目，S為VC維空間結(jié)構(gòu)，h為VC維數(shù)，即對(duì)函數(shù)集復(fù)雜性或者學(xué)習(xí)能力的度量。1-、為表征計(jì)算的可靠程度的參數(shù)。SLT要求在控制以VC維為標(biāo)志的擬合能力上界(以限制過(guò)擬合)的前提下追求擬合精度?？刂芕C維的方法有三大類：1拉大兩類樣本點(diǎn)集在特征空間中的間隔；2縮小兩類樣本點(diǎn)各自在特征空間中的分布范圍；3降低特征空間維數(shù)。一般認(rèn)為特征空間維數(shù)是控制過(guò)擬合的唯一手段，而新理論強(qiáng)調(diào)靠前兩種手段可以保證在高維特征空間的運(yùn)算仍有低的VC維，從而保證限制過(guò)擬合。對(duì)于分類學(xué)習(xí)問(wèn)題，傳統(tǒng)的模式識(shí)別方法強(qiáng)調(diào)降維，而SVM與此相反。對(duì)于特征空間中兩類點(diǎn)不能靠超平面分開(kāi)的非線性問(wèn)題，SVM采用映照方法將其映照到更高維的

8、空間，并求得最佳區(qū)分二類樣本點(diǎn)的超平面方程，作為判別未知樣本的判據(jù)。這樣，空間維數(shù)雖較高，但VC維仍可壓低，從而限制了過(guò)擬合。即使已知樣本較少，仍能有效地作統(tǒng)計(jì)預(yù)報(bào)。對(duì)于回歸建模問(wèn)題，傳統(tǒng)的化學(xué)計(jì)量學(xué)算法在擬合訓(xùn)練樣本時(shí)，將有限樣本數(shù)據(jù)中的誤差也擬合進(jìn)數(shù)學(xué)模型了。針對(duì)傳統(tǒng)方法這一缺點(diǎn)，SVR采用“名不敏感函數(shù)”，即對(duì)于用f(x)擬合目標(biāo)值y時(shí)f(x)=wTx+b,目標(biāo)值yi擬合在yi-wTx-b即認(rèn)為進(jìn)一步擬合是無(wú)意義的。這樣擬合得到的不是唯一解，而是一組無(wú)限多個(gè)解。SVR方法是在一定約束條件下，以|w|2取極小的標(biāo)準(zhǔn)來(lái)選取數(shù)學(xué)模型的唯一解。這一求解策略使過(guò)擬合受到限制，顯著提高了數(shù)學(xué)模型的預(yù)

9、報(bào)能力。2支持向量分類(SVC算法2.1線性可分情形SVM1法是從線性可分情況下的最優(yōu)分類面(OptimalHyperplane)提出的。所謂最優(yōu)分類面就是要求分類面不但能將兩類樣本點(diǎn)無(wú)錯(cuò)誤地分開(kāi)，而且要使兩類的分類空隙最大。d維空間中線性判別函數(shù)的一般形式為g(x)=wTx+b,分類面方程是wTx+b=0,我們將判別函數(shù)進(jìn)行歸一化，使兩類所有樣本都滿足|g(xi1,此時(shí)離分類面最近的樣本的g(x)=i,而要求分類面對(duì)所有樣本都能正確分類，就是要求它滿足1y(wTx+b)一120,i=1,2，n。(4)式(4)中使等號(hào)成立的那些樣本叫做支持向量(SupportVectors)。兩類樣本的分類空

10、隙(Margin)的間隔大小：Margin=2/w(5)因此，最優(yōu)分類面問(wèn)題可以表示成如下的約束優(yōu)化問(wèn)題，即在條件(4)的約束下，求函數(shù)2二(wTw)2(6)的最小值。為此，可以定義如下的Lagrange函數(shù)：1 T.，TL(w,b,：)ww八：Jy/wxib)-1(7)2 i4其中，ai20為L(zhǎng)agrange系數(shù)，我們的問(wèn)題是對(duì)林口b求Lagrange函數(shù)的最小值。把式(7)分別對(duì)w、b、必求偏微分并令它們等于0,得：n-L=0=w=-iyixi.:winL-7=0=iyi-0-bi1；：LT=0=：iyi(wxib)7:0七i以上三式加上原約束條件可以把原問(wèn)題轉(zhuǎn)化為如下凸二次規(guī)劃的對(duì)偶問(wèn)題

11、:n1nnmaxZaiZ工丹jyiyj(xTxj)i=12i=1j=1s.tai0,i=1,-L,n(8)n2aiyi=0這是一個(gè)不等式約束下二次函數(shù)機(jī)制問(wèn)題，存在唯一最優(yōu)解。若久;為最優(yōu)解,n*w*二，aiViX(9)iW%*不為零的樣本即為支持向量，因此，最優(yōu)分類面的權(quán)系數(shù)向量是支持向量的線性組合。一*b可由約束條件yi(wTx+b)-1=0求解，由此求得的最優(yōu)分類函數(shù)是：n*T.*.*、fx=sgn(w)x,b)=sgn(aiyixixb)(10)sgn()為符號(hào)函數(shù)。2.2非線性可分情形當(dāng)用一個(gè)超平面不能把兩類點(diǎn)完全分開(kāi)時(shí)(只有少數(shù)點(diǎn)被錯(cuò)分)，可以引入松弛變量。(。0,i=1,n),使

12、超平面wTx+b=0滿足：Yi(wrx+b)21一。(11)當(dāng)0G1時(shí)樣本點(diǎn)xi被錯(cuò)分。為此，引入以下目標(biāo)函數(shù)：1Tn.,(w,)wwCxi2y(12)其中C是一個(gè)正常數(shù)，稱為懲罰因子，此時(shí)SVMT以通過(guò)二次規(guī)劃(對(duì)偶規(guī)劃)來(lái)實(shí)現(xiàn)：n1nnmax:ai一-、：i：jyiyjxxji42i4j4s.t0aiC,i=1,，n(13)naiyi=0i43支持向量機(jī)(SVM的核函數(shù)若在原始空間中的簡(jiǎn)單超平面不能得到滿意的分類效果，則必須以復(fù)雜的超曲面作為分界面，SV悔法是如何求得這一復(fù)雜超曲面的呢？首先通過(guò)非線性變換中將輸入空間變換到一個(gè)高維空間，然后在這個(gè)新空間中求取最優(yōu)線性分類面，而這種非線性變換

13、是通過(guò)定義適當(dāng)?shù)暮撕瘮?shù)(內(nèi)積函數(shù))實(shí)現(xiàn)的，令：K(xi,xj)=工，(為)O(xj)；(14)用核函數(shù)K(xxj)代替最優(yōu)分類平面中的點(diǎn)積x/xj,就相當(dāng)于把原特征空間變換到了某一新的特征空間，此時(shí)優(yōu)化函數(shù)變?yōu)椋簄1nnQ(a)=ai-XX叫力1丫上個(gè)為內(nèi))(15)i12imjm而相應(yīng)的判別函數(shù)式則為：n一.*ti*-,*fx)=sgn(w)(x)b=sgnCaiyiK(xi,x)b)(16)iW其中xi為支持向量，x為未知向量，(16)式就是SVM在分類函數(shù)形式上類似于一個(gè)神經(jīng)網(wǎng)絡(luò)，具輸出是若干中間層節(jié)點(diǎn)的線性組合，而每一個(gè)中間層節(jié)點(diǎn)對(duì)應(yīng)于輸入樣本與一個(gè)支持向量的內(nèi)積，因此也被叫做支持向量網(wǎng)

14、絡(luò)，如圖1y=sgniyaiyMxi,xS個(gè)支撐向量機(jī)的非線性變換圖1支持向量網(wǎng)絡(luò)預(yù)報(bào)未知樣本類別的示意圖Fig.1Thesketchmapofsupportvectornetworktopredictanunknownsample由于最終的判別函數(shù)中實(shí)際只包含未知向量與支持向量的內(nèi)積的線性組合，因此識(shí)別時(shí)的計(jì)算復(fù)雜度取決于支持向量的個(gè)數(shù)。目前常用的核函數(shù)形式主要有以下三類，它們都與已有的算法有對(duì)應(yīng)關(guān)系。(1)多項(xiàng)式形式的核函數(shù)，即K(x,x)=xTxiJ+1q,對(duì)應(yīng)SVM是一個(gè)q階多項(xiàng)式分類器。(2)徑向基形式的核函數(shù)，即K(x,Xj)=exp-匕,對(duì)應(yīng)SVM是一種徑向基函數(shù)分CT類器。S形

15、核函數(shù)，如K(x,xi)=tanh(v(xTx)+c),則SVM實(shí)現(xiàn)的就是一個(gè)兩層的感知器神經(jīng)網(wǎng)絡(luò)，只是在這里不但網(wǎng)絡(luò)的權(quán)值、而且網(wǎng)絡(luò)的隱層節(jié)點(diǎn)數(shù)目也是由算法自動(dòng)確定的。4支持向量回歸(SVR方法SVR算法的基礎(chǔ)主要是z不敏感函數(shù)(名-insensitivefunction)和核函數(shù)算法。若將擬合的數(shù)學(xué)模型表達(dá)為多維空間的某一曲線，則根據(jù)名不敏感函數(shù)所得的結(jié)果就是包絡(luò)該曲線和訓(xùn)練點(diǎn)的“名管道”。在所有樣本點(diǎn)中，只有分布在“管壁”上的那一部分樣本點(diǎn)決定管道的位置。這一部分訓(xùn)練樣本稱為“支持向量”(supportvectors)。為適應(yīng)訓(xùn)練樣本集的非線性，傳統(tǒng)的擬合方法通常是在線性方程后面加高階項(xiàng)

16、。此法誠(chéng)然有效，但由此增加的可調(diào)參數(shù)未免增加了過(guò)擬合的風(fēng)險(xiǎn)。SVR采用核函數(shù)解決這一矛盾。用核函數(shù)代替線性方程中的線性項(xiàng)可以使原來(lái)的線性算法“非線性化”，即能作非線性回歸。與此同時(shí)，引進(jìn)核函數(shù)達(dá)到了“開(kāi)維”的目的，而增加的可調(diào)參數(shù)卻很少，于是過(guò)擬合仍能控制。4.1線性回歸情形設(shè)樣本集為：(的,、)-,(yl,xl)xwRn,ywR,回歸函數(shù)用下列線性方程來(lái)表示,fx=wTxb(17)最佳回歸函數(shù)通過(guò)求以下函數(shù)的最小極值得出，(18)力氣鎮(zhèn)若)!卜十dm十I其中佻設(shè)定的懲罰因子值，、為松弛變量的上限與下限。Vapnik提出運(yùn)用下列不敏感損耗函數(shù)：通過(guò)下面的優(yōu)化方程：I0forIf|/(x)f|e

17、othersiscniaxHz(asn*)=maxCtjtf4近啟.(19)(20)在下列約束條件下:求解:=argmin(21)C(廣做j_jx：Xj/Il(i+r節(jié),由此可得拉格朗日萬(wàn)程的待定系數(shù)四和叫,從而得回歸系數(shù)和常數(shù)項(xiàng):lw八：i-二iXii1b=一1Wkr-xs12rs(22)4.2非線性回歸情形類似于分類問(wèn)題，一個(gè)非線性模型通常需要足夠的模型數(shù)據(jù)，與非線性svCf法相同，一個(gè)非線性映射可將數(shù)據(jù)映射到高維的特征空間中，在其中就可以進(jìn)行線性回歸。運(yùn)用核函數(shù)可以避免模式開(kāi)維可能產(chǎn)生的M維數(shù)災(zāi)難M,即通過(guò)運(yùn)用一個(gè)非敏感性損耗函數(shù)，非線性SVR勺解即可通過(guò)下面方程求出：(24)(25)其

18、約束條件為:0a；Ci=1.*/.fi=l由此可得拉格朗日待定系數(shù)%和巴，回歸函數(shù)f(X)則為:小)=工值可木(工小)XV工5ChemSV戚用軟件介紹以解決化學(xué)化工上問(wèn)題為目的，我們參照國(guó)際文獻(xiàn)自編了包含SVM模塊的應(yīng)用軟件一一“ChemSVM,其中SVM算法涉及到凸二次規(guī)劃的求解，采用了序貫極小優(yōu)化(SequentialMinimalOptimization)算法20。由于SVM算法在應(yīng)用上不夠方便的地方主要是核函數(shù)及其參數(shù)如何選取的問(wèn)題，為此，“ChmSVM針對(duì)該問(wèn)題上作了一些改進(jìn)，即一方面在程序的操作界面上提供各種核函數(shù)及其參數(shù)，給用戶自由選擇和研究的方便；另一方面，程序可用單純形優(yōu)化方

19、法自動(dòng)選出待選的核函數(shù)及其參數(shù)，并根據(jù)數(shù)據(jù)集留一法預(yù)報(bào)正確率最高的目標(biāo)來(lái)確定最終計(jì)算用核函數(shù)及其參數(shù)，從而建立推廣能力強(qiáng)的數(shù)學(xué)模型。以軟件使用上的方便性、算法上的先進(jìn)性和解決具體問(wèn)題的有效性為目的，“ChemSVM軟件將不斷地發(fā)展和完善。“ChemSVM軟件提供了通用的支持向量機(jī)算法。在具體應(yīng)用問(wèn)題上，還可以將其與數(shù)據(jù)庫(kù)（含分門(mén)別類的數(shù)據(jù)表）、知識(shí)庫(kù)（含數(shù)據(jù)挖掘規(guī)則等）、原子參數(shù)（由系統(tǒng)自動(dòng)采集）及其它數(shù)據(jù)挖掘方法有機(jī)地集成起來(lái)。比如，ChemSVM已與熔鹽相圖智能數(shù)據(jù)庫(kù)相融合，使SVM算法成為熔鹽相圖智能數(shù)據(jù)庫(kù)的有效的數(shù)據(jù)挖掘手段。這方面應(yīng)用成果已另文報(bào)導(dǎo)在本刊有關(guān)SVM應(yīng)用的系列論文中21

20、22。6應(yīng)用前景SLT和SVMJT法之所以從20世紀(jì)90年代以來(lái)受到很大的重視，在于它們對(duì)有限樣本情況下模式識(shí)別中的一些根本性問(wèn)題進(jìn)行了系統(tǒng)的理論研究，并且在此基礎(chǔ)上建立了一種較好的通用學(xué)習(xí)算法。以往困擾很多機(jī)器學(xué)習(xí)方法的問(wèn)題，比如模型選擇與過(guò)擬合問(wèn)題、非線性和維數(shù)災(zāi)難問(wèn)題、局部極小點(diǎn)問(wèn)題等，在這里都得到了很大程度上的解決。而且，很多傳統(tǒng)的機(jī)器學(xué)習(xí)方法都可以看作是SVM算法的一種實(shí)現(xiàn)，因而SLT和SVM被很多人視作研究機(jī)器學(xué)習(xí)問(wèn)題的一個(gè)基本框架。一方面研究如何用這個(gè)新的理論框架解決過(guò)去遇到的很多問(wèn)題；另一方面則重點(diǎn)研究以SVM為代表的新的學(xué)習(xí)方法，研究如何讓這些理論和方法在實(shí)際應(yīng)用中發(fā)揮作用。

21、SLT有比較堅(jiān)實(shí)的理論基礎(chǔ)和嚴(yán)格的理論分析，但其中還有很多問(wèn)題仍需人為決定。比如結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則中的函數(shù)子集結(jié)構(gòu)的設(shè)計(jì)、SVM中的內(nèi)積函數(shù)（包括參數(shù)）的選擇等。尚沒(méi)有明確的理論結(jié)果指導(dǎo)我們?nèi)绾芜M(jìn)行這些選擇。另外，除了在監(jiān)督模式識(shí)別中的應(yīng)用外，SLT在函數(shù)擬合、概率密度估計(jì)等機(jī)器學(xué)習(xí)問(wèn)題以及在非監(jiān)督模式識(shí)別問(wèn)題中的應(yīng)用也是一個(gè)重要研究方向。我們認(rèn)為，SLT和SVMB法（包括SVCffiSVR有可能在化學(xué)化工領(lǐng)域得到深入和廣泛的應(yīng)用，以往用人工神經(jīng)網(wǎng)絡(luò)、傳統(tǒng)統(tǒng)計(jì)模式識(shí)別和線性及非線性回歸等數(shù)據(jù)挖掘算法研究和處理的化學(xué)化工數(shù)據(jù)都可能在應(yīng)用SVM算法后得到更好的處理結(jié)果23。特別是樣本少、維數(shù)多的“

22、小樣本難題”，應(yīng)用SVM算法建模會(huì)特別有效?？梢灶A(yù)計(jì)，將來(lái)在分析化學(xué)的數(shù)據(jù)處理、化學(xué)數(shù)據(jù)庫(kù)的智能化、有機(jī)分子的構(gòu)效關(guān)系（QSAR,QSPR）分子和材料設(shè)計(jì)、試驗(yàn)設(shè)計(jì)、化工生產(chǎn)優(yōu)化、以及環(huán)境化學(xué)、臨床化學(xué)、地質(zhì)探礦等多方面都有可能展開(kāi)SLT和SVMJT法的應(yīng)用研究，并取得良好效果。參考文獻(xiàn)1. DomineD.,DevillersJ.,ChastretteM.,KarcherW.Non-linearmappingforstructure-activityandstructure-propertymodeling.JournalofChemomatrics1993,7:227-2422. Wang

23、Ziyi,Jenq-Hwang,KowalskiBruceR.,ChemNets:TheoryandApplication,AnalyticalChemistry,1995,67(9):1497-15043. RuffiniR.etal.,Usingneuralnetworkforspringbackminimizationinachannelformingprocess,SAETrans.J.Mater.Manufacture,1998,107,654. FukunagaK.Introductiontostatisticalpatternrecognition.Academic.NewYor

24、k;19725. ChenNianyi（陳念貽），QinPei（欽佩），ChenRuiliang（陳瑞亮），LuWencong（陸文或口）,ApplicationofPatternRecognitioninChemistryandChemicalEngineering（模式識(shí)別在化學(xué)化工中的應(yīng)用），Peking（北京），SciencePublisher（科學(xué)出版社），20006. ChenNianyi,LuWencong,ChemometricMethodsAppliedtoIndustrialOptimizationandMaterialsOptimalDesign,Chemometrics

25、andintelligentlaboratorysystems,1999,45,329-3337. ChenNianyi,LuWencong,SoftwarePackageMaterialsDesigner”anditsApplicationinMaterialsResearch,IPMM99,Hawaii,USA,July,19998. LUWencong,YANLi-cheng,CHENNian-yi,PatternRecognitionandANNSAppliedtotheFormobilityofComplexIdide,JournalofMolecularScience,1995,1

26、1（1）:339. LiuLiang（劉亮）,BaoXinhua（包新華）,FengJianxing（馮建星）,LuWencong（陸文聰），ChenNianyi（陳念貽），MolecularSievingofPinacolone（or1-Arylethanone）Containing1H-1,2,4-TriazoleGroupandTheirReducedProducts（a-口坐基-a-芳氧烷基頻哪酮（芳乙酮）及其醇式衍生物抗真菌活性的分子篩選），ComputerandAppliedChemistry（計(jì)算機(jī)與應(yīng)用化學(xué)），2002,19（4）:46510. LuWencong（陸文聰）,BaoXinhua（包新華）,WuLan（吳蘭）,KongJie（孔杰），YanLicheng（閻立誠(chéng)），ChenNianyi（陳念貽），StudiesonHierarchicalProjectionMethodAppliedtoRegularitiesofFormationofBinaryComplexCompoundinMBr-MBr2System（二元澳化物系（MBr-MfB2）中間化合物形成規(guī)律的逐級(jí)投影法研究），ComputerandAppliedChemistry（計(jì)算機(jī)與應(yīng)用化學(xué)），2002,19（4）:47411. LuWencong（陸文聰）,Fen