線性判別函數(shù)課件

第2章線性判別函數(shù)2.1線性判別函數(shù)和決策面2.2感知準(zhǔn)則函數(shù)2.3最小平方誤差準(zhǔn)則函數(shù)2.4多類判別問題2.5分段線性判別函數(shù)2.6Fisher線性判別函數(shù)2.7支持向量機(jī)第2章線性判別函數(shù)2.1線性判別函數(shù)和決策面1課前思考題：

(1)機(jī)器能否像人類一樣通過例證教育認(rèn)知事物，修正觀念中的錯誤的成分?

(2)機(jī)器學(xué)習(xí)過程中有教師嗎？誰是教師？

(3)什么叫線性分類器?什么條件下才能用線性分類器？

課前思考題：2

2.1線性判別函數(shù)和決策面線性判別函數(shù)是統(tǒng)計(jì)模式識別方法中的一個重要的基本方法。它是由訓(xùn)練樣本集提供的信息直接確定決策域的劃分。在訓(xùn)練過程中使用的樣本集，該樣本集中的每個樣本的類別已知。2.1線性判別函數(shù)和決策面線性判別函數(shù)是統(tǒng)計(jì)模式3由于決策域的分界面是用數(shù)學(xué)式子來描述的，如線性函數(shù)，或各種非線性函數(shù)等。因此確定分界面方程，這包括選擇函數(shù)類型與確定最佳參數(shù)兩個部分。一般說來選擇函數(shù)類型是由設(shè)計(jì)者確定的，但其參數(shù)的確定則是通過一個學(xué)習(xí)過程來實(shí)現(xiàn)的，是一個迭代實(shí)現(xiàn)優(yōu)化的過程。本章講最簡單的函數(shù)類型—線性函數(shù)。由于決策域的分界面是用數(shù)學(xué)式子來描述的，如線性函數(shù)，或各種非4假設(shè)抽取到的模式樣本的邊界是“整齊”而不是混雜的，而且以后遇到的待分類模式基本上不超過學(xué)習(xí)樣本的分類范圍，從而利用這些樣本得出的分類邊界是無誤差的。因此這些模式類之間的分界面，可以利用線性判別函數(shù)來進(jìn)行。對于n維空間中的c

個模式類別各給出一個由n個特征組成的單值函數(shù)，這叫做判別函數(shù)。在c類的情況下，我們共有c個判別函數(shù)，記為g1(x)，g2(x)，…gc(x)，它們分別對應(yīng)于模式類

1，

2，…

c。假設(shè)抽取到的模式樣本的邊界是“整齊”而不是混雜的，而5

作為判別函數(shù)，它應(yīng)具有如下的性質(zhì)：假如一個模式X屬于第i類，則有：而如果這個模式在第i類和第j類得分界面上，則有：如果判別函數(shù)取線性判別函數(shù)，它是所有模式特征的線性組合。對于第i類模式，有如下形式：

式中是特征的系數(shù)，稱為權(quán)，為閾值權(quán)。

如果對第i類模式定義n維權(quán)向量為：

則判別函數(shù)可寫成更簡潔的形式：

作為判別函數(shù)，它應(yīng)具有如下的性質(zhì)：假如一個模式X屬于第6討論二類情況下的線性判別函數(shù)。兩個線性判別函數(shù)如果X屬于，可得：令則二類模式的線性分類器的決策法則是：如果，則決策，即把歸到類去；如果，則決策，即把歸到類去。線性分類器是指兩類決策域的界面方程是單個線性方程。討論二類情況下的線性判別函數(shù)。線性分類器是指兩類決策域的界面7

是決策面方程，它是兩類模式的分界，對于二維空間情況，它是一條直線；對于三維情況，它是一個平面；而對于高維空間的情況，則是一個超平面。

構(gòu)造一個二類模式的線性分類器，如下圖所示：是決策面方程8

在二類模式的情況下，決策面H把模式空間分成兩個半空間，即對的決策域和對的決策域。因?yàn)楫?dāng)特征向量

在中時(shí)，所以決策面的法向量的方向指向。我們稱位于決策面H的正面，位于決策面H的反面。

9為了說明向量W的意義，我們假設(shè)在決策平面上有兩個特征向量X1與X2，則應(yīng)有

(*)

其中(X1-X2)也是一個向量，(*)式表明向量W與該平面上任兩點(diǎn)組成的向量(X1-X2)正交，因此W的方向就是決策面的法線方向。為了說明向量W的意義，我們假設(shè)在決策平面上有兩個特征向量X110+=wwxxrp決策面H@右圖中，H是決策面，它的方程為，是權(quán)向量，也就是決策面的法線方向。是待識別的模式的特征向量。g(X)就是n維空間中任一點(diǎn)X到該決策面距離的代數(shù)度量，該決策平面將這兩類樣本按其到該面距離的正負(fù)號確定其類別。若把X表示成：式中Xp:是在H上的投影向量，r:是到H的垂直距離，：是w方向上的單位向量。wwxx+=wwxxrp決策面H@右圖中，H是決策面，它的方程為11結(jié)論：利用線性判別函數(shù)進(jìn)行決策，就是用一個超平面把特征空間分割成兩個決策區(qū)域，超平面方向由權(quán)向量W決定，它的位置由閾值權(quán)w0確定。將上式代入，可得：

()+=0xwxwgT(x)=+0wgwT+wwxrp)(+=0xpwwT+wWTwr=w(x)gr=0如果，則原點(diǎn)在H的正面；如果，則原點(diǎn)在H的反面。對于圖所示情況，。若，則判別函數(shù)有齊次形式:說明超平面H通過原點(diǎn)。

（因?yàn)椋┤鬤為坐標(biāo)系原點(diǎn)，則坐標(biāo)原點(diǎn)到該決策面的距離為。

結(jié)論：利用線性判別函數(shù)進(jìn)行決策，就是用一個超平面把特征空間分12設(shè)計(jì)線性分類器，是指所用的判別函數(shù)、分界面方程的類型已選定為線性類型，因此主要的設(shè)計(jì)任務(wù)是確定線性方程的兩個參數(shù)，一個是權(quán)向量W，另一個是閾值。為了使所設(shè)計(jì)的線性分類器在性能上要滿足一定的要求，這種要求通過一種準(zhǔn)則來體現(xiàn)，并且要表示成一種準(zhǔn)則函數(shù)，以便能通過將準(zhǔn)則函數(shù)值優(yōu)化的方法確定W與。設(shè)計(jì)線性分類器，是指所用的判別函數(shù)、分界面方程的類型已選定為132.2感知準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)是五十年代由Rosenblatt提出的一種自學(xué)習(xí)判別函數(shù)生成方法，由于Rosenblatt企圖將其用于腦模型感知器，因此被稱為感知準(zhǔn)則函數(shù)。其特點(diǎn)是隨意確定的判別函數(shù)初始值，在對樣本分類訓(xùn)練過程中逐步修正直至最終確定。

2.2感知準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)是五十年代由Rosen14線性判別函數(shù)可改寫為：于是線性判別函數(shù)就變成了(n+1)維空間的齊次線性函數(shù)。定義增廣模式向量:定義廣義權(quán)向量:對于二類模式問題，在這個(n+1)維空間的決策面H的方程就是：因?yàn)殚撝禐?，所以超平面H通過原點(diǎn)。這樣，找尋決策面的問題就簡化為求權(quán)向量的問題。線性判別函數(shù)15在線性可分條件下，廣義權(quán)向量A合適的話應(yīng)有：

為了方便起見，如果我們令則合適的A能使所有的Y’滿足ATY’>0。（后面用Y表示Y’）經(jīng)過這樣的規(guī)格化處理后，問題就轉(zhuǎn)化為：求使每一個樣本Y滿足ATY>0的權(quán)向量A的問題了。權(quán)向量A稱為解權(quán)向量。線性可分是說該訓(xùn)練樣本集中的兩類樣本可以用一個線性分界面正確無誤的分開。在線性可分條件下，廣義權(quán)向量A合適的話應(yīng)有：

為了方便起見，16

這里是由于使用權(quán)向量A而被誤分類的樣本集合。當(dāng)一個樣本被誤分類時(shí)，就有，所以，可見，是解權(quán)向量的函數(shù)。僅當(dāng)時(shí)，達(dá)到極小值，即?；蛘哒f，當(dāng)對于某個向量，準(zhǔn)則函數(shù)達(dá)到極小值的話，就是解權(quán)向量，這時(shí)沒有樣本被錯分類。在幾何上，感知準(zhǔn)則函數(shù)正比于被錯分樣本到?jīng)Q策面的距離之和。

為了求解線性不等式組ATY>0，構(gòu)造一個準(zhǔn)則函數(shù)：感知準(zhǔn)則函數(shù)：因?yàn)椋ǎ榱饲蠼饩€性不等式組ATY>0，構(gòu)造一個準(zhǔn)17有了準(zhǔn)則函數(shù)，需要用最優(yōu)化方法尋找達(dá)到極小值的解權(quán)向量A?？梢圆捎锰荻认陆邓惴▉砬蠼?。是一個正的比例因子，稱為步長或增量。有了準(zhǔn)則函數(shù)，需要用最優(yōu)化方法尋找18梯度下降法的算法步驟：（1）先任意選擇一個初始的權(quán)向量（2）把第K次的權(quán)向量加上被誤分類的樣本的和與某個常數(shù)的乘積，就得到第（K+1）次的權(quán)向量。（3）理論上可以證明，只要二類樣本是線性可分的，無論初值如何選取，經(jīng)過有限次迭代，這個算法總可以收斂，即使得每一個樣本滿足ATY>0。該算法的缺點(diǎn)是：每次迭代必須遍歷全部樣本，才能得到當(dāng)前權(quán)向量下的誤分樣本集，從而進(jìn)一步糾正的值。梯度下降法的算法步驟：該算法的缺點(diǎn)是：每次迭代必須遍歷全部樣19固定增量算法及其收斂性固定增量算法是解線性不等式組的一種最簡單的方法。它可以由梯度下降法作如下兩點(diǎn)改變得到：（1）把全部樣本看作是一個序列，每當(dāng)前一步迭代的權(quán)向量把某個樣本錯誤分類時(shí)，就對這個權(quán)向量做一次修正，而不是等當(dāng)前權(quán)向量對全部樣本計(jì)算后再找出錯分類樣本集去進(jìn)行修改。（2）考慮每次迭代時(shí)保持不變，這就是固定增量的情況，也就是說乘上一個固定的比例因子。固定增量算法及其收斂性固定增量算法是解線性不20二類情況下用固定增量法求解權(quán)向量的方法：設(shè)已知二類模式的樣本集和，這些樣本都已變成增廣模式的形式，要求用固定增量算法決定一個超平面，使它能正確劃分樣本集。開始時(shí)，可以任意假定為域決策界面的那一邊，也可以任意選擇廣義權(quán)向量的初始值。然后把訓(xùn)練集中的增廣模式向量依次取出，計(jì)算的內(nèi)積，權(quán)向量用如下規(guī)則調(diào)整：

①

如果，而，則用代替；

②

如果，而，則用代替；

③

如果，而，則保持不變；④

如果，而，則保持不變。二類情況下用固定增量法求解權(quán)向量的方法：21屬于的全部模式向量都用上述方法處理一遍，成為一次迭代。這個算法繼續(xù)重新執(zhí)行，直到某次迭代后中的成員都通過這個程序而權(quán)向量不再變化為止，這時(shí)稱為程序收斂。如果在某一次迭代中權(quán)向量已經(jīng)保持不變，則權(quán)向量即解權(quán)向量。所以在程序收斂后即無必要進(jìn)一步執(zhí)行迭代了。如果不是線性可分的，則程序不會收斂，而迭代將無限進(jìn)行下去，所以在編制程序時(shí)應(yīng)考慮或在一定時(shí)間限度內(nèi)停止，或當(dāng)權(quán)向量在一個不收斂區(qū)域內(nèi)循環(huán)而停止。

這個算法可以推廣到下述更一般的情況：

①模式不一定是二值的；

②執(zhí)行迭代時(shí)，增廣模式向量集中成員的次序可任意選定；

③不要求中有相等數(shù)量的模式；

④初始權(quán)向量可以任意選擇。屬于的全部模式向量222.3最小平方誤差準(zhǔn)則函數(shù)

最小平方誤差準(zhǔn)則函數(shù)是一個基于全體樣本的準(zhǔn)則函數(shù)，要求滿足等式，，其中是一些任意指定的正常數(shù)。令為一個矩陣，它的各行是向量，令為一個列向量，則問題變?yōu)椋簩τ诮o定的和要求找到一個權(quán)向量，使得

多數(shù)情況下，只可能找到一個這樣的解權(quán)向量，它使與之間的誤差極小化。如果定義誤差向量e為

則求為最優(yōu)的方法是使誤差向量e的長度的平方極小。這就是使誤差平方和準(zhǔn)則函數(shù)

極小化。這就是矛盾方程組的最小二乘解（MSE解）。2.3最小平方誤差準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則23對準(zhǔn)則函數(shù)求導(dǎo)并令其為零，得準(zhǔn)則函數(shù)極小化的必要條件：于是將解的問題轉(zhuǎn)化為解。這里是一個維方陣，且常為非奇異。如果它是非奇異的，可以得到的唯一解：此處矩陣稱為的偽逆。如果為奇異陣，得到的解不唯一。

MSE解依賴于向量b，b的不同選擇可以給予解以不同的性質(zhì)。當(dāng)b任意給定時(shí)，MSE解在線性可分的情況下不會總是產(chǎn)生一個正確的分界面，但可以找到一個有用的判別函數(shù)。

d

n對準(zhǔn)則函數(shù)求導(dǎo)并令其為零，得準(zhǔn)則函數(shù)極小化的必要條件：dn24

為避免上述缺點(diǎn)，可以采用梯度下降算法。梯度下降算法為：（1）首先任意制訂初始權(quán)向量；（2）如第k步不能滿足要求則按下式求第（k+1）步的權(quán)向量可以證明，如果，其中是任意常數(shù)，則這個算法產(chǎn)生的權(quán)向量序列，收斂于滿足方程式。且不管是否為奇異矩陣，這個下降算法總能產(chǎn)生一個解。MSE方法的計(jì)算工作量很大，要求解維矩陣的逆，并證明是非奇異的。為避免上述缺點(diǎn)，可以采用梯度下降算法。MSE252.4多類判別問題以上討論的都是兩類別問題，但是實(shí)際問題中常遇到的是多類別問題?？梢园褍深悇e問題中使用的線性判別函數(shù)方法推廣到多類別問題中，但可有不同做法。2.4多類判別問題以上討論的都是兩類別問題，但是26一種最簡單作法是將C類別問題化為(C-1)個兩類問題，即將第i類與所有非i類樣本，按兩類問題確定其判別函數(shù)與決策面方程。因此對于C類，則總共有(C-1)個兩類別問題，如圖所示。這種做法存在兩個問題，一是可能會出現(xiàn)一些不定區(qū)域，如圖中陰影所示，在這些區(qū)域中的樣本無法確定其類別。原因是用線性判別函數(shù)對i類及所有非i類進(jìn)行劃分并不能保證獲得性能良好的劃分，硬性使用線性分類器可能會產(chǎn)生很不好的效果。W1非W1不定區(qū)域一種最簡單作法是將C類別問題化為(C-1)個兩類問題，即將第27另一種相對麻煩些的做法是將C類中的每兩類別單獨(dú)設(shè)計(jì)其線性判別函數(shù)，因此總共有C(C-1)/2個線性判別函數(shù)。這種方法如圖所示。這種方法由于每個判別函數(shù)針對每兩類別樣本設(shè)計(jì)，預(yù)期可有好效果，但仍有不定區(qū)域，在該區(qū)域內(nèi)樣本類別無法確定。

另一種相對麻煩些的做法是將C類中的每兩類別單獨(dú)設(shè)計(jì)其線性判別28由于樣本在特征空間分布的復(fù)雜性，許多情況下采用線性判別函數(shù)不能取得滿意的分類效果。也就是說，在n維模式樣本集線性可分的情況下，如果訓(xùn)練集足夠大，就可能得到較好的分類結(jié)果。所以它應(yīng)用于簡單的線性可分集是一個很好的工具。對于比較復(fù)雜的問題，當(dāng)樣本不是線性可分時(shí)，用超平面分類，就會導(dǎo)致較大的分類錯誤率。2.5分段線性判別函數(shù)由于樣本在特征空間分布的復(fù)雜性，許多情況下采用線性判別函數(shù)不29線性判別函數(shù)ppt課件30

為了解決比較復(fù)雜的線性不可分樣本分類問題，提出了非線性判別函數(shù)。這個分界面是一個超曲面。如圖所示的分界面Ⅱ所示。但是非線性判別函數(shù)計(jì)算復(fù)雜，實(shí)際應(yīng)用上受到較大的限制。解決問題的另一個方法是采用多個線性分界面，將它們分段連接，用分段線性劃分去逼近分界的超曲面。如圖分界面Ⅲ所示。他的決策面由幾個超平面段組成。它有可能利用已知的線性判別函數(shù)來解決分類問題，并較好地逼近分類的超曲面，從而減少分類誤差。

為了解決比較復(fù)雜的線性不可分樣本分類問題，提31

分段線性判別函數(shù)的算法很多，它的計(jì)算量較之非線性判別函數(shù)大大減少。難點(diǎn)是如何舍棄這些超平面的無效部分而根據(jù)任務(wù)正確地將有效區(qū)段相互連接的問題。

下面的分段線性劃分算法較易實(shí)現(xiàn)，它用全部正確分類的超平面將空間劃分為若干區(qū)域，每個區(qū)域都是凸的超多面體。在這些超多面體中的樣本都是屬于同一類的。如果將每個超平面分割的正面半空間賦予“1”，反面賦予“0”，則這些超多面體可用所有的超平面的正反面的編碼來代表。這就達(dá)到了用分段線性劃分來分類的目的，見圖。分段線性判別函數(shù)的算法很多，它的計(jì)算量較之非32

由于分段線性劃分的解可能由不同的樣本分割方式形成，一般情況下不是唯一的。但每個解都能滿足要求。分段線性劃分也存在誤差。處理分類誤差可有二種方法：（1）增加超平面數(shù)目，達(dá)到滿足當(dāng)前樣本正確分類的目的；（2）適當(dāng)限制超平面數(shù)目，而允許一定的分類誤差存在。因?yàn)閱栴}是非參數(shù)的，我們除了分類好的樣本外一無所知，所以在有限樣本的情況下，我們僅能討論是當(dāng)前樣本下誤差最小，這可以在多個可能解中用誤分樣本數(shù)最小或誤差平方和最小作為準(zhǔn)則來達(dá)到。一般說來，當(dāng)樣本足夠大時(shí)，分段線性分界面是漸進(jìn)于真實(shí)的超曲面分界的，因而這樣的分界面是可行的。而在小樣本的情況下，很難說一個算法得到的結(jié)果是最優(yōu)的。由于分段線性劃分的解可能由不同的樣本分割方式33下面介紹兩種二類線性判別函數(shù)推廣得到的分段線性判別函數(shù)的算法。如圖所示，先用二類線性判別函數(shù)找出一個分界面，它將樣本大致分成兩類。因?yàn)闃颖炯皇蔷€性可分的，所以兩面的模式都會混雜。再對的正反面的模式樣本分別應(yīng)用線性判別函數(shù)求得和，如此繼續(xù)下去，直至每個分界面都將樣本正確分類為止。連接相應(yīng)的各分界面，，即得分段線性判別函數(shù)所決定的決策面。對這個方法可以采用遺傳算法，它提供當(dāng)前樣本下的最優(yōu)解。下面介紹兩種二類線性判別函數(shù)推廣得到的分段線34第二種方法是用一個超平面將空間劃分為兩個半空間，它的正面僅包含一類“純”的樣本；它的反面則允許兩類樣本混雜。下一步則是對反面的混雜樣本再次使用一個超平面分割，其正面分離出一類純樣本，而反面允許二類樣本混雜。繼續(xù)進(jìn)行程序直至樣本被超平面完全劃分為止。劃分的過程中要求每次劃分的正面得到的純樣本數(shù)最多。第二種方法是用一個超平面將空間劃分為兩個半空間35

應(yīng)用統(tǒng)計(jì)方法解決模式識別問題時(shí)，維數(shù)或特征個數(shù)是個非常重要的問題。在低維空間里解析上或計(jì)算上行得通的方法，在高維空間里往往行不通。因此，降低維數(shù)有時(shí)就成為處理實(shí)際問題的關(guān)鍵。2.6Fisher線性判別函數(shù)

Fisher方法的基本思想是：把d維空間的所有模式投影到一條過原點(diǎn)的直線上，就能把維數(shù)壓縮到1。關(guān)鍵在于要找到這樣一條最優(yōu)的投影方向，使這些模式的投影能較好地區(qū)分開。

應(yīng)用統(tǒng)計(jì)方法解決模式識別問題時(shí)，維數(shù)或特征個數(shù)是個非36如圖所示，表示了在一個二維空間兩個類別樣本在兩個不同的向量w1與w2上投影分布的情況。其中用紅點(diǎn)及藍(lán)點(diǎn)分別表示不同類別的樣本。顯然對w1向量的投影能使這兩類有明顯可分開的區(qū)域，而對向量w2的投影，則使兩類數(shù)據(jù)部分交迭在一起，無法找到一個能將它們截然分開的界面。Fisher準(zhǔn)則的基本原理，就是要找到一個最合適的投影軸，使兩類樣本在該軸上投影的交迭部分最少，從而使分類效果為最佳。

如圖所示，表示了在一個二維空間兩個類別樣本在兩個不同的向量w37設(shè)給定兩類模式樣本集和，它們各有和個d維樣本。我們的目標(biāo)就是找到這樣一條直線，使得模式樣本在這條直線上的投影最有利于分類。設(shè)為這條直線正方向的單位向量，。于是由和對直線的投影相應(yīng)地得到集合和。每個就是在單位向量上的投影。于是有：為了找到最有利于分類的方向，需要建立一個準(zhǔn)則函數(shù)，它能反映不同類別模式在這條直線上投影分離程度的好壞。設(shè)給定兩類模式樣本集和，它們各有和38

為了使類別分離得好，應(yīng)使各類模式投影均值彼此間相距盡可能大，還應(yīng)使同類模式的投影比較密集。設(shè)是第類d維樣本的均值：

則這些樣本在直線上的投影的均值就是：

從而投影均值間的距離就是：

因?yàn)楹蛯τ诮o定的兩類樣本集是不變的，所以改變的方向，就可能改變投影均值間的距離。

定義一類模式投影的類內(nèi)離散度為：則總的類內(nèi)離散度為：它代表整個樣本集合中各類樣本投影的密集程度。為了更好的分類結(jié)果，應(yīng)選擇直線使得類內(nèi)總離散度盡可能小。

為了使類別分離得好，應(yīng)使各類模式投影均值彼此39綜合上述考慮，定義Fisher準(zhǔn)則函數(shù)。我們希望投影后，在一維Y空間里各類樣本盡可能分得開些，即希望兩類均值之差越大越好，同時(shí)希望各類樣本內(nèi)部盡量密集，即類內(nèi)離散度越小越好。因此可以定義Fisher準(zhǔn)則函數(shù)為：顯然，應(yīng)該尋找使的分子盡可能大，而分母盡可能小，也就是盡可能大的W作為投影方向。J(W)J(W)綜合上述考慮，定義Fisher準(zhǔn)則函數(shù)。我們希望投影后，在一40構(gòu)造Fisher判別函數(shù)

它使準(zhǔn)則函數(shù)達(dá)到極大。

為了把表示成的明顯形式，作以下定義：（1）第類離散度矩陣

（2）類內(nèi)離散度矩陣

（3）類間離散度矩陣

可以得到

構(gòu)造Fisher判別函數(shù)41又

根據(jù)以上推導(dǎo)，準(zhǔn)則函數(shù)可改寫為：

這就是Rayleigh比。易證Rayleigh比的如下性質(zhì)：

①，a是一個實(shí)數(shù)。②的極值與的大小無關(guān)，只與的方向有關(guān)。

用Lagrange乘數(shù)法求極值（略）。又42

經(jīng)過計(jì)算可以得到

這就是使準(zhǔn)則函數(shù)極大的解。就是使模式樣本的投影在類間最分散，類內(nèi)最集中的最優(yōu)解。有了后，得就可將各樣本由d維空間投影到一維空間，即直線上，變成一維樣本，它們給出較好的分類結(jié)果。

需要注意的是，這樣得到的結(jié)果是有一定局限的。它只是對準(zhǔn)則函數(shù)最優(yōu)，即最大，在許多情況下，結(jié)果并不完全理想。另外，它沒有利用樣本分布的信息，雖然計(jì)算簡單，但錯誤率達(dá)不到最小。經(jīng)過計(jì)算可以得到需要注意的是，這樣得到的結(jié)果是有一定局限的43

支持向量機(jī)(SupportVectorMachine,簡稱SVM)是基于統(tǒng)計(jì)學(xué)習(xí)理論的一種分類器設(shè)計(jì)方法，是近年來在理論及實(shí)際問題中都有重大影響的一種新方法。在線性可分條件下，即兩個類別訓(xùn)練樣本集可用線性分界面