數(shù)學(xué)建模支持向量機(jī)

數(shù)學(xué)建模支持向量機(jī)第1頁(yè)，共25頁(yè)，2023年，2月20日，星期五OutlineSVM的理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)第2頁(yè)，共25頁(yè)，2023年，2月20日，星期五SVM的理論基礎(chǔ)傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無(wú)窮大時(shí)，其性能才有理論的保證。統(tǒng)計(jì)學(xué)習(xí)理論（STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問題。SVM的理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。而單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過(guò)學(xué)習(xí)問題”，其推廣能力較差。推廣能力是指:將學(xué)習(xí)機(jī)器(即預(yù)測(cè)函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對(duì)未來(lái)輸出進(jìn)行正確預(yù)測(cè)的能力。第3頁(yè)，共25頁(yè)，2023年，2月20日，星期五過(guò)學(xué)習(xí)問題“過(guò)學(xué)習(xí)問題”：某些情況下，當(dāng)訓(xùn)練誤差過(guò)小反而會(huì)導(dǎo)致推廣能力的下降。例如：對(duì)一組訓(xùn)練樣本(x,y),x分布在實(shí)數(shù)范圍內(nèi)，y取值在[0，1]之間。無(wú)論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓(xùn)練誤差為0.第4頁(yè)，共25頁(yè)，2023年，2月20日，星期五SVM由于SVM的求解最后轉(zhuǎn)化成二次規(guī)劃問題的求解，因此SVM的解是全局唯一的最優(yōu)解SVM在解決小樣本、非線性及高維模式識(shí)別問題中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問題中Joachims最近采用SVM在Reuters-21578來(lái)進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表的其他方法都好

第5頁(yè)，共25頁(yè)，2023年，2月20日，星期五OutlineSVM的理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)第6頁(yè)，共25頁(yè)，2023年，2月20日，星期五線性判別函數(shù)和判別面一個(gè)線性判別函數(shù)(discriminantfunction)是指由x的各個(gè)分量的線性組合而成的函數(shù)

兩類情況:對(duì)于兩類問題的決策規(guī)則為如果g(x)>0，則判定x屬于C1，如果g(x)<0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。

第7頁(yè)，共25頁(yè)，2023年，2月20日，星期五線性判別函數(shù)下圖表示一個(gè)簡(jiǎn)單的線性分類器，具有d個(gè)輸入的單元，每個(gè)對(duì)應(yīng)一個(gè)輸入向量在各維上的分量值。該圖類似于一個(gè)神經(jīng)元。

第8頁(yè)，共25頁(yè)，2023年，2月20日，星期五超平面方程g(x)=0定義了一個(gè)判定面，它把歸類于C1的點(diǎn)與歸類于C2的點(diǎn)分開來(lái)。當(dāng)g(x)是線性函數(shù)時(shí)，這個(gè)平面被稱為“超平面”(hyperplane)。當(dāng)x1和x2都在判定面上時(shí)，這表明w和超平面上任意向量正交，并稱w為超平面的法向量。注意到：x1-x2表示超平面上的一個(gè)向量第9頁(yè)，共25頁(yè)，2023年，2月20日，星期五判別函數(shù)g(x)是特征空間中某點(diǎn)x到超平面的距離的一種代數(shù)度量

從下圖容易看出第10頁(yè)，共25頁(yè)，2023年，2月20日，星期五上式也可以表示為：

r=g(x)/||w||。當(dāng)x=0時(shí)，表示原點(diǎn)到超平面的距離，r0=g(0)/||w||=w0/||w||，標(biāo)示在上圖中。總之：線性判別函數(shù)利用一個(gè)超平面把特征空間分隔成兩個(gè)區(qū)域。超平面的方向由法向量w確定，它的位置由閾值w0確定。判別函數(shù)g(x)正比于x點(diǎn)到超平面的代數(shù)距離（帶正負(fù)號(hào)）。當(dāng)x點(diǎn)在超平面的正側(cè)時(shí)，g(x)>0；當(dāng)x點(diǎn)在超平面的負(fù)側(cè)時(shí)，g(x)<0

第11頁(yè)，共25頁(yè)，2023年，2月20日，星期五多類的情況

利用線性判別函數(shù)設(shè)計(jì)多類分類器有多種方法。例如可以把k類問題轉(zhuǎn)化為k個(gè)兩類問題，其中第i個(gè)問題是用線性判別函數(shù)把屬于Ci類與不屬于Ci類的點(diǎn)分開。更復(fù)雜一點(diǎn)的方法是用k(k-1)/2個(gè)線性判別函數(shù)，把樣本分為k個(gè)類別，每個(gè)線性判別函數(shù)只對(duì)其中的兩個(gè)類別分類。第12頁(yè)，共25頁(yè)，2023年，2月20日，星期五廣義線性判別函數(shù)在一維空間中，沒有任何一個(gè)線性函數(shù)能解決下述劃分問題（黑紅各代表一類數(shù)據(jù)），可見線性判別函數(shù)有一定的局限性。第13頁(yè)，共25頁(yè)，2023年，2月20日，星期五廣義線性判別函數(shù)如果建立一個(gè)二次判別函數(shù)g(x)=(x-a)(x-b)，則可以很好的解決上述分類問題。決策規(guī)則仍是：如果g(x)>0，則判定x屬于C1，如果g(x)<0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。

第14頁(yè)，共25頁(yè)，2023年，2月20日，星期五廣義線性判別函數(shù)第15頁(yè)，共25頁(yè)，2023年，2月20日，星期五廣義線性判別函數(shù)第16頁(yè)，共25頁(yè)，2023年，2月20日，星期五設(shè)計(jì)線性分類器

第17頁(yè)，共25頁(yè)，2023年，2月20日，星期五OutlineSVM的理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)第18頁(yè)，共25頁(yè)，2023年，2月20日，星期五最優(yōu)分類面

SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來(lái)的,基本思想可用圖2的兩維情況說(shuō)明.

圖中,方形點(diǎn)和圓形點(diǎn)代表兩類樣本,H為分類線,H1,H2分別為過(guò)各類中離分類線最近的樣本且平行于分類線的直線,它們之間的距離叫做分類間隔(margin)。

所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。

第19頁(yè)，共25頁(yè)，2023年，2月20日，星期五最優(yōu)分類面第20頁(yè)，共25頁(yè)，2023年，2月20日，星期五如何求最優(yōu)分類面

第21頁(yè)，共25頁(yè)，2023年，2月20日，星期五最優(yōu)分類面第22頁(yè)，共25頁(yè)，2023年，2月20日，星期五OutlineSVM的理論基礎(chǔ)線性判別函數(shù)和判別面最優(yōu)分類面支持向量機(jī)第23頁(yè)，共25頁(yè)，2023年，2月20日，星期五支持向量機(jī)

上節(jié)所得到的最優(yōu)分類函數(shù)為：該式只包含待分類樣本與訓(xùn)練樣本中的支持向量的內(nèi)積運(yùn)算，可見,要解決一個(gè)特征空間中的最優(yōu)線性分類問題,我們只需要知道這個(gè)空間中的內(nèi)積運(yùn)算即可。