支持向量機(jī)及其應(yīng)用

1、支持向量機(jī)算法研究及其應(yīng)用指導(dǎo)老師：段華答 辯 人：李瀟目 錄問(wèn)題描述結(jié)論與展望實(shí)現(xiàn)圖實(shí)現(xiàn)過(guò)程SVM簡(jiǎn)介SVM簡(jiǎn)介 支持向量機(jī)(英語(yǔ)：Support Vector Machine，常簡(jiǎn)稱為SVM)是一種監(jiān)督式學(xué)習(xí)的方法，可廣泛地應(yīng)用于統(tǒng)計(jì)分類以及回歸分析。它是Corinna Cortes和Vapnik等于1995年首先提出的，它在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)，并能夠推廣應(yīng)用到函數(shù)擬合等其他機(jī)器學(xué)習(xí)問(wèn)題中。這族分類器的特點(diǎn)是他們能夠同時(shí)最小化經(jīng)驗(yàn)誤差與最大化幾何邊緣區(qū)，因此支持向量機(jī)也被稱為最大邊緣區(qū)分類器。問(wèn)題描述 SVM 支持向量機(jī)是一個(gè)類分類器，給定一些標(biāo)記好的訓(xùn)

2、練樣本，svm算法輸出一個(gè)最優(yōu)分隔超平面，假定給定幾個(gè)分屬兩類的點(diǎn)，這些點(diǎn)可以通過(guò)直線分割，通過(guò)svm將其分為兩類。實(shí)現(xiàn)過(guò)程 考慮如下問(wèn)題： 假設(shè)給定一些分屬于兩類的2維點(diǎn)，這些點(diǎn)可以通過(guò)直線分割， 我們要找到一條最優(yōu)的分割線。 距離樣本太近的直線不是最優(yōu)的。我們的目標(biāo)是找到一條直線，離所有點(diǎn)的距離最遠(yuǎn)。 由此，SVM算法的實(shí)質(zhì)是找出一個(gè)能夠?qū)⒛硞€(gè)值最大化的超平面，這個(gè)值就是超平面離所有訓(xùn)練樣本的最小距離。這個(gè)最小距離用SVM術(shù)語(yǔ)來(lái)說(shuō)叫做 間隔(margin) 。 概括一下，最優(yōu)分割超平面 最大化訓(xùn)練數(shù)據(jù)的間隔知識(shí)準(zhǔn)備知識(shí)準(zhǔn)備-確定最優(yōu)超平面確定最優(yōu)超平面 實(shí)現(xiàn)過(guò)程 1 建立訓(xùn)練樣本建立訓(xùn)練樣

3、本 本例中的訓(xùn)練樣本由分屬于2個(gè)類別的2維點(diǎn)組成，其中一類包含一個(gè)樣本點(diǎn)，另一類包含三個(gè)點(diǎn) float labels4 = 1.0, -1.0, -1.0, -1.0; float trainingData42 = 501, 10, 255, 10, 501, 255, 10, 501 ; 函數(shù) CvSVM:train 要求訓(xùn)練數(shù)據(jù)儲(chǔ)存于float類型的 Mat 結(jié)構(gòu)中， 因此我們定義了以下矩陣: Mat labelsMat(3, 1, CV_32FC1, labels);Mat trainingDataMat(3, 2, CV_32FC1, trainingData);實(shí)現(xiàn)過(guò)程2 2訓(xùn)練支持

4、向量機(jī)訓(xùn)練支持向量機(jī) 調(diào)用函數(shù) CvSVM:train 來(lái)建立SVM模型 CvSVM SVM; SVM.train(trainingDataMat, labelsMat, Mat(), Mat(), params);實(shí)現(xiàn)過(guò)程 3 SVM區(qū)域分割區(qū)域分割 函數(shù) CvSVM:predict 通過(guò)重建訓(xùn)練完畢的支持向量機(jī)來(lái)將輸入的樣本分類。 我們通過(guò)該函數(shù)給向量空間著色， 及將圖像中的每個(gè)像素當(dāng)作迪卡爾平面上的一點(diǎn)，每一點(diǎn)的著色取決于SVM對(duì)該點(diǎn)的分類類別：綠色表示標(biāo)記為1的點(diǎn)，藍(lán)色表示標(biāo)記為-1的點(diǎn)。 Vec3b green(0,255,0), blue (255,0,0); for (int i

5、 = 0; i image.rows; +i) for (int j = 0; j image.cols; +j) Mat sampleMat = (Mat_(1,2) i,j); float response = SVM.predict(sampleMat); if (response = 1) image.at(j, i) = green; else if (response = -1) image.at(j, i) = blue; 實(shí)現(xiàn)過(guò)程 4 支持向量支持向量 這里用了幾個(gè)函數(shù)來(lái)獲取支持向量的信息。函數(shù) CvSVM:get_support_vector_count 輸出支持向量的數(shù)量，

6、函數(shù) CvSVM:get_support_vector 根據(jù)輸入支持向量的索引來(lái)獲取指定位置的支持向量。 通過(guò)這一方法我們找到訓(xùn)練樣本的支持向量并突出顯示它們。 int c = SVM.get_support_vector_count(); for (int i = 0; i c; +i) const float* v = SVM.get_support_vector(i); circle( image, Point( (int) v0, (int) v1), 6, Scalar(255, 255, 255), thickness, lineType); 實(shí)現(xiàn)圖 程序創(chuàng)建了一張圖像，在其中顯示了訓(xùn)練樣本。 訓(xùn)練得到SVM，并將圖像的每一個(gè)像素分類。 分類的結(jié)果將圖像分為紅綠藍(lán)三部分，中間線就是最優(yōu)分割超平面。 實(shí)現(xiàn)圖 最后支持向量通過(guò)灰色邊框加重顯示結(jié)論與展望 本文利用SVM 解決二維空間上的問(wèn)題，我們考慮迪卡爾平面內(nèi)的點(diǎn)與線，而不是高維的向量與超平面。這一簡(jiǎn)化是為了讓我們以更加直覺(jué)的方式建立起對(duì)SVM概念的理解，但是其基本的原理同樣適用于更高維的樣本分類情形。 支持向量機(jī)不僅有著統(tǒng)計(jì)學(xué)習(xí)理論的堅(jiān)實(shí)理論基礎(chǔ)，而且具有直觀的幾何解釋和完美的數(shù)學(xué)形式。支持向量機(jī)主要討論分類問(wèn)題和回歸問(wèn)題，基于把回歸問(wèn)題轉(zhuǎn)化為分類問(wèn)題的研究工作。 支持向量機(jī)是借助于最優(yōu)化方法解決數(shù)據(jù)