支持向量機算法和軟件ChemSVM介紹

支持向量機算法和軟件ChemSVM介紹陸文聰1，陳念貽1，葉晨洲2,李國正2

（1.上海大學化學系計算機化學研究室，上海，200436）

（2.上海交通大學圖象及模式識別研究所，上海，200030）摘要VladimirN.Vapnik等提出的統(tǒng)計學習理論（statisticallearningtheory，簡稱SLT）和支持向量機（supportvectormachine，簡稱SVM）算法已取得令人鼓舞的研究成果。本文旨在對這一新理論和新算法的原理作一介紹，并展望這一計算機學界的新成果在化學化工領域的應用前景?！癈hemSVM”軟件提供了通用的支持向量機算法，并將其與數(shù)據(jù)庫、知識庫、原子參數(shù)及其它數(shù)據(jù)挖掘方法有機地集成起來。關鍵詞模式識別；支持向量機；支持向量分類；支持向量回歸中圖分類號：O06-04IntroductiontotheAlgorithmofSupportVectorMachineandtheSoftwareChemSVMLUWen-cong1,CHENNian-yi1,YEChen-zhou2,LIGuo-zheng2（1.LaboratoryofChemicalDataMining,DepartmentofChemistry,ShanghaiUniversity,Shanghai,200436,China）

（2.InstituteofImageandPatternRecognition,JiaotongUniversity,Shanghai,200030,China）Abstracts:Thegreatachievementshavebeenapproachedinthedevelopmentofstatisticallearningtheory（STL）andsupportvectormachine（SVM）aswellaskerneltechniques.ThispaperaimedatintroducingtheprincipleofSLTandSVMalgorithmandprospectingtheirapplicationsinthefieldsofchemistryandchemicalindustry..KeyWords:Statisticallearningtheory,Supportvectormachine,Supportvectorclassification,Supportvectorregression眾所周知，統(tǒng)計模式識別、線性或非線性回歸以及人工神經(jīng)網(wǎng)絡等方法是數(shù)據(jù)挖掘的有效工具，已隨著計算機硬件和軟件技術的發(fā)展得到了廣泛的應用［1-4］，我們亦曾將若干數(shù)據(jù)挖掘方法用于材料設計和藥物構效關系的研究5-12］。但多年來我們也受制于一個難題：傳統(tǒng)的模式識別或人工神經(jīng)網(wǎng)絡方法都要求有較多的訓練樣本，而許多實際課題中已知樣本較少。對于小樣本集，訓練結果最好的模型不一定是預報能力最好的模型。因此，如何從小樣本集出發(fā)，得到預報（推廣）能力較好的模型，遂成為模式識別研究領域內(nèi)的一個難點，即所謂“小樣本難題”。最近我們注意到：數(shù)學家VladimirN.Vapnik等通過三十余年的嚴格的數(shù)學理論研究，提出來的統(tǒng)計學習理論statisticallearningtheory簡稱SLT）［13］和支持向量機（supportvectormachine，簡稱SVM）算法已得到國際數(shù)據(jù)挖掘學術界的重視，并在語音識別［14］、文字識別［15］、藥物設計［16］、組合化學［17］、時間序列預測［18］等研究領域得到成功應用，該新方法從嚴格的數(shù)學理論出發(fā)，論證和實現(xiàn)了在小樣本情況下能最大限度地提高預報可靠性的方法，其研究成果令人鼓舞。張學工、楊杰等率先將有關研究成果引入國內(nèi)計算機學界，并開展了SVM算法及其應用研究［19］，但國內(nèi)化學化工領域內(nèi)尚未見SVM的應用報道。收稿日期：2002-06-10；修回日期：2002-09-10資金資助：國家自然科學基金委和美國福特公司聯(lián)合資助，批準號：9716214作者簡介：陸文聰（1964一），男，教授。研究方向：計算機化學。

本文是本論文系列的第一篇，主要介紹Vapnik等在SLT基礎上提出的SVM算法，包括支持向量分類(supportvectorclassification，簡稱SVC)算法和支持向量回歸(supportvectorregression，簡稱SVR)算法，并展望這一計算機學界的新成果在化學化工領域的應用前景。1統(tǒng)計學習理論(SLT)簡介[13]1.1背景現(xiàn)實世界中存在大量我們尚無法準確認識但卻可以進行觀測的事物，如何從一些觀測數(shù)據(jù)(樣本)出發(fā)得出目前尚不能通過原理分析得到的規(guī)律，進而利用這些規(guī)律預測未來的數(shù)據(jù)，這是統(tǒng)計模式識別(基于數(shù)據(jù)的機器學習的特例)需要解決的問題。統(tǒng)計是我們面對數(shù)據(jù)而又缺乏理論模型時最基本的(也是唯一的)分析手段。Vapnik等人早在20世紀60年代就開始研究有限樣本情況下的機器學習問題，但這些研究長期沒有得到充分的重視。近十年來，有限樣本情況下的機器學習理論逐漸成熟起來，形成了一個較完善的SLT體系。而同時，神經(jīng)網(wǎng)絡等較新興的機器學習方法的研究則遇到一些重要的困難，比如如何確定網(wǎng)絡結構的問題、過擬合與欠擬合問題、局部極小點問題等。在這種情況下，試圖從更本質(zhì)上研究機器學習的 SLT體系逐步得到重視。1992—1995年，Vapnik等在SLT的基礎上發(fā)展了SVM算法，在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢，并能夠推廣應用到函數(shù)擬合等其它機器學習問題。很多學者認為，它們正在成為繼模式識別和神經(jīng)網(wǎng)絡研究之后機器學習領域中新的研究熱點，并將推動機器學習理論和技術有重大的發(fā)展。神經(jīng)網(wǎng)絡研究容易出現(xiàn)過擬合問題，是由于學習樣本不充分和學習機器設計不合理的原因造成的，由于此矛盾的存在，所以造成在有限樣本情況下：1)經(jīng)驗風險最小不一定意味著期望風險最?。?)學習機器的復雜性不但與所研究的系統(tǒng)有關，而且要和有限的學習樣本相適應。SLT體系及其SVM算法在解決“小樣本難題”過程中所取得的核函數(shù)應用等方面的突出進展令人鼓舞，已被認為是目前針對小樣本統(tǒng)計估計和預測學習的最佳理論。1.2原理Vapnik的SLT的核心內(nèi)容包括下列四個方面：1)經(jīng)驗風險最小化原則下統(tǒng)計學習一致性的條件；2)在這些條件下關于統(tǒng)計學習方法推廣性的界的結論；3)在這些界的基礎上建立的小樣本歸納推理原則；4)實現(xiàn)這些新的原則的實際方法(算法)。設訓練樣本集為(y,X),(y,X)XeRm,yeR，其擬合(建模)的數(shù)學實質(zhì)是從函數(shù)集中1 1 nn選出合適的函數(shù)f(x)，使風險函數(shù)：(1)更無法求其極小。傳統(tǒng)的統(tǒng)計(2)R[f]=j(y-f(X))2P(x,y)dxdy為最小。但因其中的幾率分布函數(shù)5P(x,y)為未知，上式無法計算，數(shù)學遂假定上述風險函數(shù)可用經(jīng)驗風險函數(shù)R[(1)更無法求其極小。傳統(tǒng)的統(tǒng)計(2)Remp[f]=土"(y-f(I,))2

i=1根據(jù)大數(shù)定律，式(2)只有當樣本數(shù)n趨于無窮大且函數(shù)集足夠小時才成立。這實際上是假定最小二乘意義的擬合誤差最小作為建模的最佳判據(jù)，結果導致擬合能力過強的算法的預報能力反而降低。為此，slt用結構風險函數(shù)Rh[f]代替Rmp[f]，并證明了Rh[f]可用下列函數(shù)求極小而得：.[ h(ln2n/h+1)-ln(5/4)(3)min"emp[f]+V n (3)此處n為訓練樣本數(shù)目，S.為VC維空間結構，力為VC維數(shù)，即對函數(shù)集復雜性或者學習能力的度量。1-8為表征計算的可靠程度的參數(shù)。SLT要求在控制以VC維為標志的擬合能力上界(以限制過擬合)的前提下追求擬合精度?？刂芕C維的方法有三大類：1)拉大兩類樣本點集在特征空間中的間隔；2)縮小兩類樣本點各自在特征空間中的分布范圍；3[降低特征空間維數(shù)。一般認為特征空間維數(shù)是控制過擬合的唯一手段，而新理論強調(diào)靠前兩種手段可以保證在高維特征空間的運算仍有低的VC維，從而保證限制過擬合。對于分類學習問題，傳統(tǒng)的模式識別方法強調(diào)降維，而SVM與此相反。對于特征空間中兩類點不能靠超平面分開的非線性問題，SVM采用映照方法將其映照到更高維的空間，并求得最佳區(qū)分二類樣本點的超平面方程，作為判別未知樣本的判據(jù)。這樣，空間維數(shù)雖較高，但VC維仍可壓低，從而限制了過擬合。即使已知樣本較少，仍能有效地作統(tǒng)計預報。對于回歸建模問題，傳統(tǒng)的化學計量學算法在擬合訓練樣本時，將有限樣本數(shù)據(jù)中的誤差也擬合進數(shù)學模型了。針對傳統(tǒng)方法這一缺點，SVR采用七不敏感函數(shù)”，即對于用f(x)擬合目標值y時/G)=WTX+b，目標值y,擬合在七-wTx-b<￡時，即認為進一步擬合是無意義的。這樣擬合得到的不是唯一解，而是一組無限多個解。SVR方法是在一定約束條件下，以||w||2取極小的標準來選取數(shù)學模型的唯一解。這一求解策略使過擬合受到限制，顯著提高了數(shù)學模型的預報能力。2支持向量分類(SVC)算法2.1線性可分情形SVM算法是從線性可分情況下的最優(yōu)分類面(OptimalHyperplane)提出的。所謂最優(yōu)分類面就是要求分類面不但能將兩類樣本點無錯誤地分開，而且要使兩類的分類空隙最大。d維空間中線性判別函數(shù)的一般形式為g[)=WTX+b，分類面方程是wTx+b=0，我們將判別函數(shù)進行歸一化，使兩類所有樣本都滿足gG)x，此時離分類面最近的樣本的gG)T，而要求分類面對所有樣本都能正確分類，就是要求它滿足y.("x.+b)-1>0,i=1,2,,n。 (4)式(4)中使等號成立的那些樣本叫做支持向量(SupportVectors)。兩類樣本的分類空隙(Margin)的間隔大小:Margin=2/網(wǎng) (5)因此，最優(yōu)分類面問題可以表示成如下的約束優(yōu)化問題，即在條件(4)的約束下，求函數(shù)2-2(wTw)(6)4(w)=22-2(wTw)(6)的最小值。為此，可以定義如下的Lagrange函數(shù)：L(w,b,以)=-2wtw-&■[yi(wtx+b)-1]i=1其中，ai>0為Lagrange系數(shù)，我們的問題是對w和b求Lagrange函數(shù)的最小值。把式(7)分別對w、b、ai求偏微分并令它們等于0，得：i=1-=0nEay=0-b iii=1-—=0n以.[y.(wtx+b)-1]=0i以上三式加上原約束條件可以把原問題轉化為如下凸二次規(guī)劃的對偶問題:[max乙-1EEaayyLJi2 ijijiji=1 i=1j=1TOC\o"1-5"\h\z<s.t a>0,i=1,…,n (8)Eay.=0

i1

l i=1這是一個不等式約束下二次函數(shù)機制問題，存在唯一最優(yōu)解。若。*為最優(yōu)解，則iw*=Ea*yx (9)iiii=1a*不為零的樣本即為支持向量，因此，最優(yōu)分類面的權系數(shù)向量是支持向量的線性組合。b*可由約束條件ai[yi(WTX^+b)-1]=0求解，由此求得的最優(yōu)分類函數(shù)是：f(x)=sgn((w*)tx+b*)=sgn(Ea*yx*xb*) (10)" ，―廣ii+i=1sgn()為符號函數(shù)。2.2非線性可分情形當用一個超平面不能把兩類點完全分開時(只有少數(shù)點被錯分)，可以引入松弛變量，(，30,i=1,n)，使超平面wTx+b=0滿足：TOC\o"1-5"\h\zy(wtx+b)＞1-& (11)當0＜。＜1時樣本點了.仍舊被正確分類，而當。31時樣本點x被錯分。為此，引入以下目標函數(shù)：i i i iV(w,&)=—WTW+CE& (12)i=1其中C是一個正常數(shù)，稱為懲罰因子，此時SVM可以通過二次規(guī)劃(對偶規(guī)劃)來實現(xiàn)：[maxEa-1EEaayy(tx)i2ijijiji=1 i=1j=1<s.t 0<a<C,i=1,…,n (13)Eay.=0iil i=1

3支持向量機(SVM)的核函數(shù)若在原始空間中的簡單超平面不能得到滿意的分類效果，則必須以復雜的超曲面作為分界面，SVM算法是如何求得這一復雜超曲面的呢？首先通過非線性變換①將輸入空間變換到一個高維空間，然后在這個新空間中求取最優(yōu)線性分類面，而這種非線性變換是通過定義適當?shù)暮撕瘮?shù)(內(nèi)積函數(shù))實現(xiàn)的，令：K3,X.)=,：：①3.)?①3.)) (14)用核函數(shù)K(x,X)代替最優(yōu)分類平面中的點積xtx，就相當于把原特征空間變換到了某一新.j ij的特征空間，此時優(yōu)化函數(shù)變?yōu)椋?15)Q^)二乙-1￡￡火yyK(x,x).2 ijijij(15)i=i i=1j=1而相應的判別函數(shù)式則為：(16)f(x)=sgn[(w*)r4(x)+b*]=sgn(￡na*yK(x,x)+b*)(16)i=1其中X.為支持向量，X為未知向量，(16)式就是SVM，在分類函數(shù)形式上類似于一個神經(jīng)網(wǎng)絡，其輸出是若干中間層節(jié)點的線性組合，而每一個中間層節(jié)點對應于輸入樣本與一個支持向量的內(nèi)積，因此也被叫做支持向量網(wǎng)絡，如圖1y=y=sgnS個支撐向量機的非線性變換圖1支持向量網(wǎng)絡預報未知樣本類別的示意圖Fig.1Thesketchmapofsupportvectornetworktopredictanunknownsample由于最終的判別函數(shù)中實際只包含未知向量與支持向量的內(nèi)積的線性組合，因此識別時的計算復雜度取決于支持向量的個數(shù)。目前常用的核函數(shù)形式主要有以下三類，它們fK與已有的算法有對應關系。⑴多項式形式的核函數(shù)，即K(X,Xi)=ILxi)+J，對應SVM是一個q階多項式分類器。(2)徑向基形式的核函數(shù)，即K(x,xt)=exp{-與巡"j，對應SVM是一種徑向基函數(shù)分類器。⑶S形核函數(shù)，如K(x,xi)=tanh(v(xTx.)+c),則SVM實現(xiàn)的就是一個兩層的感知器神經(jīng)網(wǎng)絡，只是在這里不但網(wǎng)絡的權值、而且網(wǎng)絡的隱層節(jié)點數(shù)目也是由算法自動確定的。

4支持向量回歸（SVR）方法SVR算法的基礎主要是￡不敏感函數(shù)（￡-insensitivefunction）和核函數(shù)算法。若將擬合的數(shù)學模型表達為多維空間的某一曲線，則根據(jù)￡不敏感函數(shù)所得的結果就是包絡該曲線和訓練點的“￡管道”。在所有樣本點中，只有分布在“管壁”上的那一部分樣本點決定管道的位置。這一部分訓練樣本稱為“支持向量”（supportvectors）。為適應訓練樣本集的非線性，傳統(tǒng)的擬合方法通常是在線性方程后面加高階項。此法誠然有效，但由此增加的可調(diào)參數(shù)未免增加了過擬合的風險°SVR采用核函數(shù)解決這一矛盾。用核函數(shù)代替線性方程中的線性項可以使原來的線性算法“非線性化”，即能作非線性回歸。與此同時，引進核函數(shù)達到了“升維”的目的，而增加的可調(diào)參數(shù)卻很少，于是過擬合仍能控制。4.1線性回歸情形TOC\o"1-5"\h\z設樣本集為：G,X）,G,x）xwRn，yeR，回歸函數(shù)用下列線性方程來表示，1 1 llfG）=wtx+b （17）最佳回歸函數(shù)通過求以下函數(shù)的最小極值得出，山叫"ILI（18）-u=i.=i .其中C是設定的懲罰因子值，&、&*為松弛變量的上限與下限。Vapnik提出運用下列不敏感損耗函數(shù)：3）*：廣.（】9）|/\x\-y-￡I'Uicr^ise通過下面的優(yōu)化方程：] 云云W-。：血-叫熾-七）|〕舊5血.〔廠）=m：L頊-歸尸 L（20）TOC\o"1-5"\h\zH.a- 寸/ X4/ 、+ U十劇在下列約束條件下：III<(<. i=<Ct*<<\/=I I土奴-〔，;)=11,■=1求解：a,a*=argmin<1a,a*=argmin<11!Z<—a*X—a*)S)2 iijjijl=1j=1—￡a—a*)y+￡a+a*)i-'- - -iii iii（21）由此可得拉格朗日方程的待定系數(shù)a，.和a*,從而得回歸系數(shù)和常數(shù)項:—a*(22)i(22)i_rib=-2wu+x」4.2非線性回歸情形類似于分類問題，一個非線性模型通常需要足夠的模型數(shù)據(jù)，與非線ftSVC方法相同，一個非線性映射可將數(shù)據(jù)映射到高維的特征空間中，在其中就可以進行線性回歸。運用核函數(shù)可以避免模式升維可能產(chǎn)生的”維數(shù)災難”，即通過運用一個非敏感性損耗函數(shù)，非線性SVR的解即可通過下面方程求出：(23(23)其約束條件為：(24)（25）(24)（25）SVM模塊的應用軟件?<（.\ ,■=I..…/.d=l由此可得拉格朗日待定系數(shù)七和a;，回歸函數(shù)fXJ則為：SVs5ChemSVM應用軟件介紹以解決化學化工上問題為目的，我們參照國際文獻自編了包含“ChemSVM”，其中SVM算法涉及到凸二次規(guī)劃的求解，采用了序貫極小優(yōu)化（SequentialMinimalOptimization）算法［20］。由于SVM算法在應用上不夠方便的地方主要是核函數(shù)及其參數(shù)如何選取的問題，為此，“ChmSVM”針對該問題上作了一些改進，即一方面在程序的操作界面上提供各種核函數(shù)及其參數(shù)，給用戶自由選擇和研究的方便；另一方面，程序可用單純形優(yōu)化方法自動選出待選的核函數(shù)及其參數(shù)，并根據(jù)數(shù)據(jù)集留一法預報正確率最高的目標來確定最終計算用核函數(shù)及其參數(shù)，從而建立推廣能力強的數(shù)學模型。以軟件使用上的方便性、算法上的先進性和解決具體問題的有效性為目的，“ChemSVM”軟件將不斷地發(fā)展和完善?！癈hemSVM”軟件提供了通用的支持向量機算法。在具體應用問題上，還可以將其與數(shù)據(jù)庫（含分門別類的數(shù)據(jù)表）、知識庫（含數(shù)據(jù)挖掘規(guī)則等）、原子參數(shù)（由系統(tǒng)自動采集）及其它數(shù)據(jù)挖掘方法有機地集成起來。比如，“ChemSVM”已與熔鹽相圖智能數(shù)據(jù)庫相融合，使SVM算法成為熔鹽相圖智能數(shù)據(jù)庫的有效的數(shù)據(jù)挖掘手段。這方面應用成果已另文報導在本刊有關SVM應用的系列論文中I21，22】。6應用前景SLT和SVM算法之所以從20世紀90年代以來受到很大的重視，在于它們對有限樣本情況下模式識別中的一些根本性問題進行了系統(tǒng)的理論研究，并且在此基礎上建立了一種較好的通用學習算法。以往困擾很多機器學習方法的問題，比如模型選擇與過擬合問題、非線性和維數(shù)災難問題、局部極小點問題等，在這里都得到了很大程度上的解決。而且，很多傳統(tǒng)的機器學習方法都可以看作是SVM算法的一種實現(xiàn)，因而SLT和SVM被很多人視作研究機器學習問題的一個基本框架。一方面研究如何用這個新的理論框架解決過去遇到的很多問題；另一方面則重點研究以SVM為代表的新的學習方法，研究如何讓這些理論和方法在實際應用中發(fā)揮作用。SLT有比較堅實的理論基礎和嚴格的理論分析，但其中還有很多問題仍需人為決定。比如結構風險最小化原則中的函數(shù)子集結構的設計、SVM中的內(nèi)積函數(shù)（包括參數(shù)）的選擇等。尚沒有明確的理論結果指導我們?nèi)绾芜M行這些選擇。另外，除了在監(jiān)督模式識別中的應用外，SLT在函數(shù)擬合、概率密度估計等機器學習問題以及在非監(jiān)督模式識別問題中的應用也是一個重要研究方向。我們認為，SLT和SVM算法（包括SVC和SVR）有可能在化學化工領域得到深入和廣泛的應用，以往用人工神經(jīng)網(wǎng)絡、傳統(tǒng)統(tǒng)計模式識別和線性及非線性回歸等數(shù)據(jù)挖掘算法研究和處理的化學化工數(shù)據(jù)都可能在應用SVM算法后得到更好的處理結果［23］特別是樣本少、維數(shù)多的“小樣本難題”，應用SVM算法建模會特別有效?？梢灶A計，將來在分析化學的數(shù)據(jù)處理、化學數(shù)據(jù)庫的智能化、有機分子的構效關系（QSAR,QSPR）、分子和材料設計、試驗設計、化工生產(chǎn)優(yōu)化、以及環(huán)境化學、臨床化學、地質(zhì)探礦等多方面都有可能展開SLT和SVM算法的應用研究，并取得良好效果。參考文獻DomineD.,DevillersJ.,ChastretteM.,KarcherW..Non-linearmappingforstructure-activityandstructure-propertymodeling.JournalofChemomatrics1993,7:227-242WangZiyi,Jenq-Hwang,KowalskiBruceR.,ChemNets:TheoryandApplication,AnalyticalChemistry,1995,67（9）:1497-1504RuffiniR.etal.,Usingneuralnetworkforspringbackminimizationinachannelformingprocess,SAETrans.J.Mater.Manufacture,1998,107,65FukunagaK..Introductiontostatisticalpatternrecognition.Academic.NewYork;1972ChenNianyi（陳念貽），QinPei（欽佩），ChenRuiliang（陳瑞亮），LuWencong（陸文聰），ApplicationofPatternRecognitioninChemistryandChemicalEngineering（模式識別在化學化工中的應用），Peking（北京），SciencePublisher（科學出版社），2000ChenNianyi,LuWencong,ChemometricMethodsAppliedtoIndustrialOptimizationandMaterialsOptimalDesign,Chemometricsandintelligentlaboratorysystems,1999,45,329-333ChenNianyi,LuWencong,SoftwarePackage“MaterialsDesigner”anditsApplicationinMaterialsResearch,IPMM799,Hawaii,USA,July,1999LUWencong,YANLi-cheng,CHENNian-yi,PatternRecognitionandANNSAppliedtotheFormobilityofComplexIdide,JournalofMolecularScience,1995,11（1）:33LiuLiang（劉亮），BaoXinhua（包新華），F(xiàn)engJianxing（馮建星），LuWencong（陸文聰），ChenNianyi（陳念貽），MolecularSievingofPinacolone（or1-Arylethanone）Containing1H-1,2,4-TriazoleGroupandTheirReducedProducts（a-唑基-a-芳氧烷基頻哪酮（芳乙酮）及其醇式衍生物抗真菌活性的分子篩選）， ComputerandAppliedChemistry（計算機與應用化學），2002，19（4）:465LuWencong（陸文聰），BaoXinhua（包新華），WuLan（吳蘭），KongJie（孔杰），YanLicheng（閻立誠），ChenNianyi（陳念貽），StudiesonHierarchicalProjectionMethodAppliedtoRegularitiesofFormationofBinaryComplexCompoundinMBr-M’Br2System（二兀漠化物系（MBr-M’Br2）中間化合物形成規(guī)律的逐級投影法研究）， ComputerandAppliedChemistry（計算機與應用化學），2002，19（4）:474LuWencong（陸文聰），F(xiàn)engJianxing（馮建星），ChenNianyi（陳念貽），TernaryIntermetallicCompoundsbetweentwoTransitionandoneNontransitionElements（二種過渡元素和一種非過渡元素間形成三元金屬間化合物的規(guī)律）， ComputerandAppliedChemistry（計算機與應用化學），2000，17（1）:43LUWencong（陸文聰），YanLicheng（閻立誠），ChenNianyi（陳念貽），ExpertSystemPVPECforOptimizedDesignofPTCandV-PTCMaterials （PVPEC-PTC和V-PTC材料優(yōu)化設計專家系統(tǒng)），ComputerandAppliedChemistry（計算機與應用化學），1996,13（1）:39VapnikVladimirN.,TheNatureofStatisticalLearningTheory.Berlin,Springer,1995Wan,Vincent;Campbell,WilliamM.,Supportvectormachinesforspeakerverificationandidentification,NeuralNetworksforSignalProcessing-ProceedingsoftheIEEEWorkshop2,2000:775-784ThorstenJoachims,LearningtoClassifyTextUsingSupportVectorMachines.Dissertation,UniversitaetDortmund,February2001.BurbidgeR,TrotterM,BuxtonB,HoldenS,Drugdesignbymachinelearning:supportvectormachinesforpharmaceuticaldataanalysis,ComputerandChemistry,2001,26（1）:5-14TrotterM.W.B.,Buxton,B.F.,Holden,S.B.,Supportvectormachinesincombinatorialchemistry,MeasurementandContro