線性判別函數(shù)

1、第2章 線性判別函數(shù)線性判別函數(shù)2.1 線性判別函數(shù)和決策面2.2 感知準則函數(shù)2.3 最小平方誤差準則函數(shù)2.4 多類判別問題2.5 分段線性判別函數(shù)2.6 Fisher線性判別函數(shù)2.7 支持向量機課前思考題：課前思考題：(1) 機器能否像人類一樣通過例證教育認知事物，修正 觀念中的錯誤的成分?(2) 機器學習過程中有教師嗎？誰是教師？(3) 什么叫線性分類器? 什么條件下才能用線性分類器？ 2.1 線性判別函數(shù)和決策面線性判別函數(shù)是線性判別函數(shù)是統(tǒng)計模式識別方法中的一個重要的基統(tǒng)計模式識別方法中的一個重要的基本方法。它本方法。它是由是由訓練樣本集訓練樣本集提供的信息直接確定決策提供的信息

2、直接確定決策域的劃分。域的劃分。在訓練過程中使用的樣本集，該樣本集中的每個樣本的類別已知。由于決策域的分界面是用數(shù)學式子來描述的，如線性函數(shù)，或各種非線性函數(shù)等。因此確定分界面方程，這包括選擇函數(shù)類型與確定最佳參數(shù)兩個部分。一般說來選擇函數(shù)類型是由設計者確定的，但其參數(shù)的確定則是通過一個學習過程來實現(xiàn)的，是一個迭代實現(xiàn)優(yōu)化的過程。本章講最簡單的函數(shù)類型線性函數(shù)。 假設抽取到的模式樣本的邊界是“整齊”而不是混雜的，而且以后遇到的待分類模式基本上不超過學習樣本的分類范圍，從而利用這些樣本得出的分類邊界是無誤差的。因此這些模式類之間的分界面，可以利用線性判別函數(shù)來進行。 對于n維空間中的c 個模式類

3、別各給出一個由n個特征組成的單值函數(shù)，這叫做判別函數(shù)。在c類的情況下，我們共有c個判別函數(shù)，記為g1(x)，g2(x)， gc(x) ，它們分別對應于模式類1 ，2 ，c 。 作為判別函數(shù)，它應具有如下的性質(zhì)：假如一個模式X屬于第i類，則有： 而如果這個模式在第i類和第j類得分界面上，則有： 如果判別函數(shù)取線性判別函數(shù)，它是所有模式特征的線性組合。對于第i類模式，有如下形式： 式中 是特征的系數(shù)，稱為權， 為閾值權。 如果對第i類模式定義n維權向量為： 則判別函數(shù)可寫成更簡潔的形式： ()(),ijggXX,1, 2,ijcji()()ijggXX01()niikkikgw xwXikw0iw

4、12()Tiiiinw wwW0(),TiiigwXWX1, 2,ic討論二類情況下的線性判別函數(shù)。兩個線性判別函數(shù)如果X屬于 ，可得：令則二類模式的線性分類器的決策法則決策法則是： 如果 ，則決策 ，即把 歸到 類去； 如果 ，則決策 ，即把 歸到 類去。1121 02 0()() 0TTwwWWX1201020(),TTTwww得WWW0Twg()=XWX +0g( )X0g()XX1R1R1R2R為了說明向量W的意義，我們假設在決策平面上有兩個特征向量X1與X2，則應有 (*)其中(X1-X2)也是一個向量，(*)式表明向量W與該平面上任兩點組成的向量(X1-X2)正交，因此W的方向就是

5、決策面的法線方向。1xw2x1x 0 xg平面x wxgww0wpx0:1g0:2g1x2x+=wwxxrp決策面H右圖中，H是決策面，它的方程為 ， 是權向量，也就是決策面的法線方向。 是待識別的模式的特征向量。0g () =XWXg(X) 就是n維空間中任一點X到該決策面距離的代數(shù)度量，該決策平面將這兩類樣本按其到該面距離的正負號確定其類別。若把X表示成：式中Xp: 是 在H上的投影向量，r : 是 到H的垂直距離， ：是w方向上的單位向量。wwxx0g()=X結論：利用線性判別函數(shù)進行決策，就是用一個超平面把特征空間分割成兩個決策區(qū)域，超平面方向由權向量W決定，它的位置由閾值權w0確定。

6、將上式代入 ，可得： ( )+=0 xwxwgT(x)=+0wgwT+wwxrp)(+=0 xpwwT+wWTwrwr=w(x)gr=0如果 ，則原點在H的正面；如果 ，則原點在H的反面。對于圖所示情況， 。若 ，則判別函數(shù)有齊次形式: 說明超平面H通過原點。0000=000。（后面用Y表示Y ）經(jīng)過這樣的規(guī)格化處理后，問題就轉(zhuǎn)化為：求使每一個樣本Y滿足A TY0的權向量A的問題了。權向量A稱為解權向量。線性可分是說該訓練樣本集中的兩類樣本可以用一個線性分界面正確無誤的分開。12,0,0TTYYYY如果則A如果則A 這里 是由于使用權向量A而被誤分類的樣本集合。當一個樣本 被誤分類時，就有 ，

7、所以 ，可見，是解權向量 的函數(shù)。僅當 時， 達到極小值，即 。或者說，當對于某個向量 ，準則函數(shù) 達到極小值的話， 就是解權向量，這時沒有樣本被錯分類。在幾何上，感知準則函數(shù)正比于被錯分樣本到?jīng)Q策面的距離之和。 AYTA Y0( )PJA( )PJA( )PJA( )0PJA AAAA( )0PJA為了求解線性不等式組A TY0，構造一個準則函數(shù)：( )()TPAYJAA Y感知準則函數(shù)：()TgYA Y0()TgwXWX因為（ ）有了準則函數(shù) ，需要用最優(yōu)化方法尋找 達到極小值的解權向量A?？梢圆捎锰荻认陆邓惴▉砬蠼狻? )PJA( )PJA1kkkkAYAAY1( )kkkpJAAA(

8、)( )kPPYAAYJAJAk是一個正的比例因子，稱為步長或增量。梯度下降法的算法步驟：（1）先任意選擇一個初始的權向量（2）把第K次的權向量加上被誤分類的樣本的和與某個常數(shù) 的乘積，就得到第（K+1）次的權向量。（3）理論上可以證明，只要二類樣本是線性可分的，無論初值如何選取，經(jīng)過有限次迭代，這個算法總可以收斂，即使得每一個樣本滿足A TY0 。1Ak1kkkkAYAAY該算法的缺點是：每次迭代必須遍歷全部樣本，才能得到當前權向量 下的誤分樣本集 ，從而進一步糾正 的值。kAkAkA固定增量算法及其收斂性 固定增量算法是解線性不等式組的一種最簡單的方法。它可以由梯度下降法作如下兩點改變得到

9、： （1）把全部樣本看作是一個序列，每當前一步迭代的權向量把某個樣本錯誤分類時，就對這個權向量做一次修正，而不是等當前權向量 對全部樣本計算后再找出錯分類樣本集 去進行修改。 （2）考慮每次迭代時 保持不變，這就是固定增量的情況，也就是說乘上一個固定的比例因子。kAkAk 二類情況下用固定增量法求解權向量的方法： 設已知二類模式的樣本集 和 ，這些樣本都已變成增廣模式的形式，要求用固定增量算法決定一個超平面 ，使它能正確劃分樣本集 。 開始時，可以任意假定 為域決策界面的那一邊，也可以任意選擇廣義權向量 的初始值 。 然后把訓練集 中的增廣模式向量 依次取出，計算 的內(nèi)積 ，權向量 用如下規(guī)則

10、調(diào)整： 如果 ，而 ，則用 代替 ； 如果 ，而 ，則用 代替 ； 如果 ，而 ，則 保持不變； 如果 ，而 ，則 保持不變。*1R*2RTA Y0*12和RR*12和RRA1A*12和RRY與AYTA YA*1YRTA Y0+A YA*1YR*2YR*2YRTA Y0AA-A YTA Y 0TA Y 0AA 屬于 的全部模式向量都用上述方法處理一遍，成為一次迭代。這個算法繼續(xù)重新執(zhí)行，直到某次迭代后中的成員都通過這個程序而權向量 不再變化為止，這時稱為程序收斂。如果在某一次迭代中權向量 已經(jīng)保持不變，則權向量 即解權向量 。所以在程序收斂后即無必要進一步執(zhí)行迭代了。如果 不是線性可分的，則程

11、序不會收斂，而迭代將無限進行下去，所以在編制程序時應考慮或在一定時間限度內(nèi)停止，或當權向量在一個不收斂區(qū)域內(nèi)循環(huán)而停止。 這個算法可以推廣到下述更一般的情況： 模式不一定是二值的； 執(zhí)行迭代時，增廣模式向量集 中成員的次序可任意選定； 不要求 中有相等數(shù)量的模式； 初始權向量可以任意選擇。*12和RR*12和RRAAAA*12和RR*12，RR*12和RR2.3 最小平方誤差準則函數(shù) 最小平方誤差準則函數(shù)是一個基于全體樣本的準則函數(shù)，要求滿足等式 ， ，其中 是一些任意指定的正常數(shù)。 令 為一個 矩陣，它的各行 是向量 ，令 為一個列向量，則問題變?yōu)椋簩τ诮o定的 和要求找到一個權向量 ，使得

12、多數(shù)情況下，只可能找到一個這樣的解權向量 ，它使 與 之間的誤差極小化。如果定義誤差向量e為 則求 為最優(yōu)的方法是使誤差向量e的長度的平方極小。這就是使誤差平方和準則函數(shù) 極小化。這就是矛盾方程組的最小二乘解（MSE解）。TiibA Y1,in ibYn diiY1 2()TnbbbbYbAYAbAYAbeYAbA221()nTsiiiJYAbA Yb對準則函數(shù)求導并令其為零，得準則函數(shù)極小化的必要條件：于是將解 的問題轉(zhuǎn)化為解 。這里 是一個 維方陣，且常為非奇異。如果它是非奇異的，可以得到 的唯一解：此處 矩陣 稱為 的偽逆 。如果 為奇異陣，得到的解不唯一。 MSE解依賴于向量b，b的不

13、同選擇可以給予解以不同的性質(zhì)。當b任意給定時，MSE解在線性可分的情況下不會總是產(chǎn)生一個正確的分界面，但可以找到一個有用的判別函數(shù)。 TTY YAY bYAbTTY YAY bTY YddA1()TTAY YY bY bdn()TTY Y YYYTY Y0)(2)(2)(_1bAYYYbYAAJTiniiisT 為避免上述缺點，可以采用梯度下降算法。梯度下降算法為： （1）首先任意制訂初始權向量 ； （2）如第k步不能滿足要求則按下式求第（k+1）步的權向量可以證明，如果 ，其中 是任意常數(shù)，則這個算法產(chǎn)生的權向量序列 ， 收斂于滿足方程式 。且不管 是否為奇異矩陣，這個下降算法總能產(chǎn)生一個解

14、。 1A() = 0TYYAb1kA1()TkkkkAAYYAb1/kk1kA1,2,k ( )0sJATY YMSE方法的計算工作量很大，要求解 維矩陣的逆，并證明 是非奇異的。ddTY Y2.4 多類判別問題 以上討論的都是兩類別問題，但是實際問題中常遇到的是多類別問題。可以把兩類別問題中使用的線性判別函數(shù)方法推廣到多類別問題中，但可有不同做法。一種最簡單作法是將一種最簡單作法是將C類別問題化類別問題化為為(C-1)個兩類問題，即將第個兩類問題，即將第i類與類與所有非所有非i類樣本，按兩類問題確定類樣本，按兩類問題確定其判別函數(shù)與決策面方程。因此其判別函數(shù)與決策面方程。因此對于對于C類，則

15、總共有類，則總共有(C-1)個兩類個兩類別問題，如圖所示。這種做法存別問題，如圖所示。這種做法存在兩個問題，一是可能會出現(xiàn)一在兩個問題，一是可能會出現(xiàn)一些不定區(qū)域，如圖中陰影所示，些不定區(qū)域，如圖中陰影所示，在這些區(qū)域中的樣本無法確定其在這些區(qū)域中的樣本無法確定其類別。原因是用線性判別函數(shù)對類別。原因是用線性判別函數(shù)對i類及所有非類及所有非i類進行劃分并不能保類進行劃分并不能保證獲得性能良好的劃分，硬性使證獲得性能良好的劃分，硬性使用線性分類器可能會產(chǎn)生很不好用線性分類器可能會產(chǎn)生很不好的效果。的效果。W1非W1不定區(qū)域不定區(qū)域另一種相對麻煩些的做法是另一種相對麻煩些的做法是將將C類中的每兩類

16、別單獨設類中的每兩類別單獨設計其線性判別函數(shù)，因此總計其線性判別函數(shù)，因此總共有共有C(C-1)/2個線性判別函個線性判別函數(shù)。這種方法如圖所示。這數(shù)。這種方法如圖所示。這種方法由于每個判別函數(shù)針種方法由于每個判別函數(shù)針對每兩類別樣本設計，預期對每兩類別樣本設計，預期可有好效果，但仍有不定區(qū)可有好效果，但仍有不定區(qū)域，在該區(qū)域內(nèi)樣本類別無域，在該區(qū)域內(nèi)樣本類別無法確定。法確定。由于樣本在特征空間分布的復雜性，許多情況下采用由于樣本在特征空間分布的復雜性，許多情況下采用線性判別函數(shù)不能取得滿意的分類效果。也就是說，線性判別函數(shù)不能取得滿意的分類效果。也就是說，在在n維模式樣本集維模式樣本集線性可

17、分線性可分的情況下，如果的情況下，如果訓練集足訓練集足夠夠大，就可能得到較好的分類結果。所以它應用于簡大，就可能得到較好的分類結果。所以它應用于簡單的線性可分集是一個很好的工具。對于比較復雜的單的線性可分集是一個很好的工具。對于比較復雜的問題，當樣本不是線性可分時，用超平面分類，就會問題，當樣本不是線性可分時，用超平面分類，就會導致較大的分類錯誤率。導致較大的分類錯誤率。2.5 分段線性判別函數(shù) 為了解決比較復雜的線性為了解決比較復雜的線性不可分樣本分類問題，提出了不可分樣本分類問題，提出了非線性判別函數(shù)。這個分界面非線性判別函數(shù)。這個分界面是一個超曲面。如圖所示的分是一個超曲面。如圖所示的分

18、界面界面 所示。但是非線性判別所示。但是非線性判別函數(shù)計算復雜，實際應用上受函數(shù)計算復雜，實際應用上受到較大的限制。解決問題的另到較大的限制。解決問題的另一個方法是采用多個線性分界一個方法是采用多個線性分界面，將它們分段連接，用分段面，將它們分段連接，用分段線性劃分去逼近分界的超曲面。線性劃分去逼近分界的超曲面。如圖分界面如圖分界面 所示。他的決策所示。他的決策面由幾個超平面段組成。它面由幾個超平面段組成。它有可能利用已知的線性判別函數(shù)來解決分類問題，并較好地逼有可能利用已知的線性判別函數(shù)來解決分類問題，并較好地逼近分類的超曲面，從而減少分類誤差。近分類的超曲面，從而減少分類誤差。 分段線性判

19、別函數(shù)的算法很多，它的計算量較之非線性判分段線性判別函數(shù)的算法很多，它的計算量較之非線性判別函數(shù)大大減少。難點是如何舍棄這些超平面的無效部分而根別函數(shù)大大減少。難點是如何舍棄這些超平面的無效部分而根據(jù)任務正確地將有效區(qū)段相互連接的問題。據(jù)任務正確地將有效區(qū)段相互連接的問題。 下面的分段線性劃分下面的分段線性劃分算法較易實現(xiàn)，它用全部算法較易實現(xiàn)，它用全部正確分類的超平面將空間正確分類的超平面將空間劃分為若干區(qū)域，每個區(qū)劃分為若干區(qū)域，每個區(qū)域都是凸的超多面體。在域都是凸的超多面體。在這些超多面體中的樣本都這些超多面體中的樣本都是屬于同一類的。如果將是屬于同一類的。如果將每個超平面分割的正面半每

20、個超平面分割的正面半空間賦予空間賦予“1”，反面賦，反面賦予予“0”，則這些超多面，則這些超多面體可體可用所有的超平面的正反面用所有的超平面的正反面的編碼來代表。這就達到的編碼來代表。這就達到了用分段線性劃分來分類的目的，見圖。了用分段線性劃分來分類的目的，見圖。 由于分段線性劃分的解可能由不同的樣本分割方式形成，由于分段線性劃分的解可能由不同的樣本分割方式形成，一般情況下不是唯一的。但每個解都能滿足要求。一般情況下不是唯一的。但每個解都能滿足要求。 分段線性劃分也存在誤差。處理分類誤差可有二種方法：分段線性劃分也存在誤差。處理分類誤差可有二種方法： （1）增加超平面數(shù)目增加超平面數(shù)目，達到滿

21、足當前樣本正確分類的目的；，達到滿足當前樣本正確分類的目的； （2）適當限制超平面數(shù)目適當限制超平面數(shù)目，而允許一定的分類誤差存在。，而允許一定的分類誤差存在。 因為問題是非參數(shù)的，我們除了分類好的樣本外一無所知，因為問題是非參數(shù)的，我們除了分類好的樣本外一無所知，所以在有限樣本的情況下，我們僅能討論是當前樣本下誤差最所以在有限樣本的情況下，我們僅能討論是當前樣本下誤差最小，這可以在多個可能解中用誤分樣本數(shù)最小或誤差平方和最小，這可以在多個可能解中用誤分樣本數(shù)最小或誤差平方和最小作為準則來達到。一般說來，當樣本足夠大時，分段線性分小作為準則來達到。一般說來，當樣本足夠大時，分段線性分界面是漸進

22、于真實的超曲面分界的，因而這樣的分界面是可行界面是漸進于真實的超曲面分界的，因而這樣的分界面是可行的。而在小樣本的情況下，很難說一個算法得到的結果是最優(yōu)的。而在小樣本的情況下，很難說一個算法得到的結果是最優(yōu)的。的。 下面介紹兩種二類線性判別函數(shù)推廣得到的分段線性判別函數(shù)的算法。 如圖所示，先用二類線性判別函數(shù)找出一個分界面 ， 它將樣本大致分成兩類。因為樣本集不是線性可分的，所以 兩面的模式都會混雜。再對 的正反面的模式樣本分別應用線性判別函數(shù)求得和 ，如此繼續(xù)下去，直至每個分界面都將樣本正確分類為止。連接相應的各分界面 ，1H1H1H234,HHH5HiH1,2,5i ，即得分段線性判別函數(shù)

23、所決定的決策面。對這個方法可以采用遺傳算法，它提供當前樣本下的最優(yōu)解。 第二種方法是用一個超平面將空間劃分為兩個半空間，它的正面僅包含一類“純”的樣本；它的反面則允許兩類樣本混雜。下一步則是對反面的混雜樣本再次使用一個超平面分割，其正面分離出一類純樣本，而反面允許二類樣本混雜。繼續(xù)進行程序直至樣本被超平面完全劃分為止。劃分的過程中要求每次劃分的正面得到的純樣本數(shù)最多。 應用統(tǒng)計方法解決模式識別問題時，維數(shù)或特征個數(shù)應用統(tǒng)計方法解決模式識別問題時，維數(shù)或特征個數(shù)是個非常重要的問題。在低維空間里解析上或計算上行得是個非常重要的問題。在低維空間里解析上或計算上行得通的方法，在高維空間里往往行不通。因

24、此，降低維數(shù)有通的方法，在高維空間里往往行不通。因此，降低維數(shù)有時就成為處理實際問題的關鍵。時就成為處理實際問題的關鍵。2.6 Fisher線性判別函數(shù) Fisher方法的基本思想是：把方法的基本思想是：把d維空間的所有模式投維空間的所有模式投影到一條過原點的直線上，就能把維數(shù)壓縮到影到一條過原點的直線上，就能把維數(shù)壓縮到1。關鍵在關鍵在于要找到這樣一條最優(yōu)的投影方向，使這些模式的投影于要找到這樣一條最優(yōu)的投影方向，使這些模式的投影能較好地區(qū)分開。能較好地區(qū)分開。 如圖所示，表示了在一個二維空間兩個類別樣本在兩個不同的如圖所示，表示了在一個二維空間兩個類別樣本在兩個不同的向量向量w1與與w2上

25、投影分布的情況。其中用紅點及藍點分別表示上投影分布的情況。其中用紅點及藍點分別表示不同類別的樣本。顯然對不同類別的樣本。顯然對w1向量的投影能使這兩類有明顯可向量的投影能使這兩類有明顯可分開的區(qū)域，而對向量分開的區(qū)域，而對向量w2的投影，則使兩類數(shù)據(jù)部分交迭在的投影，則使兩類數(shù)據(jù)部分交迭在一起，無法找到一個能將它們截然分開的界面。一起，無法找到一個能將它們截然分開的界面。Fisher準則的準則的基本原理，就是要找到一個最合適的投影軸，使兩類樣本在該基本原理，就是要找到一個最合適的投影軸，使兩類樣本在該軸上投影的交迭部分最少，從而使分類效果為最佳。軸上投影的交迭部分最少，從而使分類效果為最佳。設

26、給定兩類模式樣本集設給定兩類模式樣本集 和和 ，它們各有，它們各有 和和 個個d維維樣本。我們的目標就是找到這樣一條直線，使得模式樣樣本。我們的目標就是找到這樣一條直線，使得模式樣本在這條直線上的投影最有利于分類。設本在這條直線上的投影最有利于分類。設 為這條直線為這條直線正方向的單位向量，正方向的單位向量， 。于是由。于是由 和和 對直線的投對直線的投影相應地得到集合影相應地得到集合 和和 。每個。每個 就是就是 在單位在單位向量向量 上的投影。于是有：上的投影。于是有：為了找到最有利于分類的方向為了找到最有利于分類的方向 ，需要建立一個準則函，需要建立一個準則函數(shù)，它能反映不同類別模式在這

27、條直線上投影分離程度數(shù)，它能反映不同類別模式在這條直線上投影分離程度的好壞。的好壞。121n2nW1W1212iyiXWTy WXW 為了使類別分離得好，應使各類模式投影均值彼此間相距盡可能大，為了使類別分離得好，應使各類模式投影均值彼此間相距盡可能大，還應使同類模式的投影比較密集。還應使同類模式的投影比較密集。 設設 是第是第 類類d維樣本的均值：維樣本的均值： 則這些樣本在直線則這些樣本在直線 上的投影的均值就是：上的投影的均值就是： 從而投影均值間的距離就是：從而投影均值間的距離就是： 因為因為 和和 對于給定的兩類樣本集是不變的，所以改變對于給定的兩類樣本集是不變的，所以改變的方向，就

28、可能改變投影均值間的距離。的方向，就可能改變投影均值間的距離。 定義一類模式投影的類內(nèi)離散度為：定義一類模式投影的類內(nèi)離散度為： 則總的類內(nèi)離散度為：則總的類內(nèi)離散度為：它代表整個樣本集合中各類樣本投影的密集程度。為了更好的分類結果，它代表整個樣本集合中各類樣本投影的密集程度。為了更好的分類結果，應選擇直線應選擇直線 使得類內(nèi)總離散度盡可能小。使得類內(nèi)總離散度盡可能小。 imi1iiinXmXW*11iiTTiiyiimynnXWXW m*1212()TmmWmm1m2mW*2* 2()iiiySym*2*212SSW綜合上述考慮，定義綜合上述考慮，定義Fisher準則函數(shù)。我們希望投影后，準

29、則函數(shù)。我們希望投影后，在一維在一維Y空間里各類樣本盡可能分得開些，即希望兩類空間里各類樣本盡可能分得開些，即希望兩類均值之差越大越好，同時希望各類樣本內(nèi)部盡量密集，均值之差越大越好，同時希望各類樣本內(nèi)部盡量密集，即類內(nèi)離散度越小越好。因此可以定義即類內(nèi)離散度越小越好。因此可以定義Fisher準則函數(shù)準則函數(shù)為：為：2*12*2*212()mmSSJ W顯然，應該尋找使顯然，應該尋找使 的分子盡可能大，而分母盡的分子盡可能大，而分母盡可能小，也就是可能小，也就是 盡可能大的盡可能大的W作為投影方向。作為投影方向。J(W)J(W)構造構造Fisher判別函數(shù)判別函數(shù) 它使準則函數(shù)它使準則函數(shù) 達

30、到極大。達到極大。 為了把為了把 表示成表示成 的明顯形式，作以下定義：的明顯形式，作以下定義： （1）第）第 類離散度矩陣類離散度矩陣 （2）類內(nèi)離散度矩陣）類內(nèi)離散度矩陣 （3）類間離散度矩陣）類間離散度矩陣 可以得到可以得到 Ty W X2*12*2*212()mmSSJ W()J WWi()()iTiiiXSXmXm12WSSS1212()()TBSmmmm*2*212TWSSW S W又又 根據(jù)以上推導，準則函數(shù)根據(jù)以上推導，準則函數(shù) 可改寫為：可改寫為： 這就是這就是Rayleigh比。易證比。易證Rayleigh比的如下性質(zhì)：比的如下性質(zhì)： ，a a是一個實數(shù)。是一個實數(shù)。 的極

31、值與的極值與 的大小無關，只與的大小無關，只與 的方向有關。的方向有關。 用用Lagrange乘數(shù)法求極值（略）。乘數(shù)法求極值（略）。* 2212121212()()()()TTTTTBmmW mW mWmmmmWW S W()J W()TTBWW S WJ WW S W()()aJ WJW()J WWW 經(jīng)過計算可以得到經(jīng)過計算可以得到 這就是使準則函數(shù)這就是使準則函數(shù) 極大的解。極大的解。 就是使模式樣本的投就是使模式樣本的投影在影在類間最分散，類內(nèi)最集中類間最分散，類內(nèi)最集中的最優(yōu)解。有了的最優(yōu)解。有了 后，得后，得就可將各樣本由就可將各樣本由d維空間投影到一維空間，即直線維空間投影到一

32、維空間，即直線 上，變上，變成一維樣本成一維樣本 ，它們給出較好的分類結果。，它們給出較好的分類結果。 112()WWSmm()J WWWTy W X,iiyXWi()J W需要注意的是，這樣得到的結果是有一定局限的。它只是對準需要注意的是，這樣得到的結果是有一定局限的。它只是對準則函數(shù)最優(yōu)，即則函數(shù)最優(yōu)，即 最大，在許多情況下，結果并不完全理想。最大，在許多情況下，結果并不完全理想。另外，它沒有利用樣本分布的信息，雖然計算簡單，但錯誤率另外，它沒有利用樣本分布的信息，雖然計算簡單，但錯誤率達不到最小。達不到最小。 支持向量機支持向量機(Support Vector Machine,簡稱簡稱S

33、VM)是基于是基于統(tǒng)計學習理論的一種分類器設計方法，是近年來在理論及統(tǒng)計學習理論的一種分類器設計方法，是近年來在理論及實際問題中都有重大影響的一種新方法。實際問題中都有重大影響的一種新方法。 在線性可分條件下，即兩個類別訓練樣本集可用線性分在線性可分條件下，即兩個類別訓練樣本集可用線性分界面無錯誤分開的條件下，找到使兩類別訓練樣本正確分界面無錯誤分開的條件下，找到使兩類別訓練樣本正確分類的一個最佳分界面。最佳條件是指兩類樣本最靠近分界類的一個最佳分界面。最佳條件是指兩類樣本最靠近分界面的樣本（稱為支持向量）到該分界面的法向距離最大。面的樣本（稱為支持向量）到該分界面的法向距離最大。也就是說使分界面兩側形成的一個隔離帶（帶中沒有任一也就是說使分界面兩側形成的一個隔離帶（帶中沒有任一類訓練樣本）的間隔最寬。類訓練樣本）的間隔最寬。2.7 支持向量機SVM的思路是這樣的，由于兩類的思路是這樣的，由于兩類別訓練樣本線性可分，因此在兩個別訓練樣本線性可分，因此在兩個類別的樣本集之間存在一個隔離帶。類別的樣本集之間存在一個隔離帶。對一個二維空間的問題，如右圖表對一個二維空間的問題，如右圖表示，其中用圈和交叉符號分別表示示，其中用圈和交叉符號分別表示第一類和第二類訓練樣本，第一類和第二類訓練樣本，H是將是將兩類分開的分界面，而