實驗四 支持向量機

1、實驗四：支持向量機班級姓名學號指導老師一、實驗目的了解基有關支持向量機的基本原理能夠使用支持向量機的代碼解決分類與回歸問題了解圖像分類的基本原理二、實驗的硬件、軟件平臺硬件：計算機軟件：操作系統(tǒng)win10應用軟件：Java三、實驗原理LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的。如果是Windows系列操作 系統(tǒng)，可以直接使用軟件包提供的程序，也可以進行修改編譯；如果是Unix類 系統(tǒng)，必須自己編譯。LIBSVM 在給出源代碼的同時還提供了 Windows操作系統(tǒng)下的可執(zhí)行文件， 包括：進行支持向量機訓練的svmtrain.exe；根據(jù)已獲得的支持向量機模型對 數(shù)據(jù)

2、集進行預測的svmpredict.exe；以及對訓練數(shù)據(jù)與測試數(shù)據(jù)進行簡單縮放 操作的 svmscale.exe。 它們都可以直接在DOS環(huán)境中使用。如果下載的包中只 有C+的源代碼，則也可以自己在VC等軟件上編譯生成可執(zhí)行文件。LIBSVM 使用的一般步驟是：按照LIBSVM軟件包所要求的格式準備數(shù)據(jù)集；對數(shù)據(jù)進行簡單的縮放操作；考慮選用RBF核函數(shù)；采用交叉驗證選擇最佳參數(shù)C與g ；采用最佳參數(shù)C與g對整個訓練集進行訓練獲取支持向量機模型；利用獲取的模型進行測試與預測。LIBSVM使用的數(shù)據(jù)格式1)訓練數(shù)據(jù)和檢驗數(shù)據(jù)文件格式如下： : : .其中 是訓練數(shù)據(jù)集的目標值，對于分類，它是標識某

3、類的整 數(shù)(支持多個類)；對于回歸，是任意實數(shù)。 是以1開始的整數(shù)，可以 是不連續(xù)的；為實數(shù)，也就是我們常說的自變量。檢驗數(shù)據(jù)文件中的 label 只用于計算準確度或誤差，如果它是未知的，只需用一個數(shù)填寫這一欄， 也可以空著不填。在程序包中，還包括有一個訓練數(shù)據(jù)實例：heart_scale,方便參考數(shù)據(jù)文件格 式以及練習使用軟件?？梢跃帉懶〕绦?，將自己常用的數(shù)據(jù)格式轉換成這種格式2）Svmtrain 和 Svmpredict 的用法LIBSVM軟件提供的各種功能都是DOS命令執(zhí)行方式。我們主要 用到兩個程序，svmtrain（訓練建模）和svmpredict（使用已有的模型進行預測）， 下面分

4、別對這兩個程序的使用方法、各參數(shù)的意義以及設置方法做一個簡單介 紹：（1）Svmtrain 的用法：svmtrain options training_set_file model_fi leOptions：可用的選項即表示的涵義如下-s svm類型：SVM設置類型（默認0）0 - C-SVC-v-SVC-一類 SVM-e -SVR-v-SVR-t 核函數(shù)類型：核函數(shù)設置類型（默認2）0-線性：uv- 多項式：（r*uv + coef0）degree-RBF 函數(shù)：exp（-r|u-v2）- sigmoid: tanh（r*uv + coef0）-d degree:核函數(shù)中的degree設置（

5、默認3）-g 函數(shù)設置（默認1/ k）?r（gama）:核函數(shù)中的-r coef0：核函數(shù)中的coef0設置（默認0）-c cost：設置 C-SVC, -SVR 的參數(shù)（默認 1）?-SVR 和-SVR的參數(shù)（默認0.5）?-SVC, 類SVM和?-n nu：設置-SVR?-p e：設置的值（默認0.1）?中損失函數(shù)-m cachesize：設置cache內存大小，以MB為單位（默認40）-e :設置允許的終止判據(jù)（默認0.001）?-h shrinking:是否使用啟發(fā)式，0或1（默認1）-wi C（C-SVC中的C）（默認1）?weight:設置第幾類的參數(shù)C為weight-v n: n

6、-fold交互檢驗模式其中-g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù)option -v 隨機地將數(shù)據(jù)剖 分為n部分并計算交互檢驗準確度和均方根誤差。以上這些參數(shù)設置可以按照 SVM的類型和核函數(shù)所支持的參數(shù)進行任意組合，如果設置的參數(shù)在函數(shù)或SVM 類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應有的參數(shù)設置不正確， 參數(shù)將采用默認值。training_set_file是要進行訓練的數(shù)據(jù)集；model_file 是訓練結束后產(chǎn)生的模型文件，文件中包括支持向量樣本數(shù)、支持向量樣本以及 lagrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設置將采用默認的文件名，也可以 設置成自己慣用的文件名。（2） Sv

7、mpredict 的用法：svmpredict test_file model_file output_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進行預測的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件。svm-predict沒有其它的選項。四、實驗內容及步驟支持向量機算法訓練分類器：訓練數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.doc”，前15 0個數(shù)據(jù)作為訓練數(shù)據(jù)， 其他數(shù)據(jù)作為測試數(shù)據(jù)，數(shù)據(jù)中“+1”-1 ”分別表示正負樣本。使用代碼中的C-SVC算法和默認參數(shù)來訓練“分類數(shù)據(jù)集.doc ”中所有的 數(shù)據(jù)（包括訓練數(shù)據(jù)和測試數(shù)據(jù)），統(tǒng)計分類

8、查準率。提林-C: MJs：ei*s jflld.ininiti*a.toi*Be!akt:aplibsiuiri2 _ SOSjuindous. exe 1 - txt 2x optimization finished, fliter = 1B2 nu = B-431029 ubj 180.977288, rha 0-424462nSU = 132, nBSH = 1U?Tntal nU = 132C： XUseis：XjAdniniEtiatorIiesktQplitisuii-3.20,Mjindowsuin-predict .exe 1 -txt 2 3 ficcuiacy = Sfc

9、 _fi.fcfi.7z C224Z270 fclasssif icationi在2的基礎上使用k-折交叉驗證思想來訓練分類器并統(tǒng)計分類查準率。ss泠學慧r阡- 口0: s er s Ml dn in ist pat r XDe s kt o pXl ibs u n-3 .2 0 win do us s vm-t r a in. e xe -u IB 1 .txt 2 M- pt In Iz At ion f Lrnlshed Utter = 133mi = 0.457663bj 023259, rhD - 0-3SO9?iSU = 125, nUSU = IMkllotal nU = 125

10、 *optinizcition f imished, #iter = 172nu = 0.438224bj = -?1.326460, rho = 0.419186nSU = 120. nBSU = 92lotal nSU - 120M-mptinizat on F inished= 1C9nu = 6.449487bj = -54.364450, rho = 0.47E975nU = 124. nBGU = 96Fetal nSU = 124M-aptnisa.tdh imiBhccl ititei 132nu =虬 4M548ahj = -86_fifcHS09, pIid = 0.24S

11、152nSU = 115, nDSU 91lotal nSU = 115Cross Ualidation ficcuracy = 81 -8519k使用2中的設置在訓練數(shù)據(jù)的基礎上學習分類器，將得到的分類器在測試數(shù)據(jù)上進行分類預測，統(tǒng)計查準率。在4上嘗試不同的由直（“-c”參數(shù)）來調節(jié)分類器的性能并繪制查準率曲 線。C： Misers Ml dirnin istratopDest0plibsum-3.20ijindciws sum-train .exe -c U.S 1. txt 2 * optimisation f in ishcd, flitcr- - 131 nu = 0.492462

12、obj = -56.525401. rho = 0.23?152 nU = 144, nBU = 25 Total nSU = 144C MJsemistj*a.tm*J)esswntrain -bmc -c 1 S 1. txt 2 * optimization :finished, iiiter = 166 nu = 0.4G5G95 obj = -142.131501, Pho = 0.47-5903 nU = 126, nBSU = 97 Total nU = 12&。：MJseisMldiriin istratoiDesktDpMihsyn-3 - Z W win do us s u

13、n-t pa in exe -c 2 1 .txt 2 pt in is at ion f in ished it it e i = 221 nu = 0.388793hj = -1B1.110841, pho = U.433596 nSU = 123- nBSU = 90Fetal nU 1230: UsersMldiTiin istEatoiSHesktapMihsym3 .2 0 XAiin dD us s um-tra in exe -c 2.5 1. txt 2 M-uptlnizatiun finiEhed, ttitet = 239 nu = B.377815 obj = -21

14、8.307424, pho = 0,453258 nU = 120, nBSU = 84 Focal nSU = 126嘗試不同的kernel函數(shù)（“-t”參數(shù)）來調節(jié)分類器的性能并繪制查準率 曲線，對每種kernel函數(shù)嘗試調節(jié)其參數(shù)值并評估查準率。固土冬提示櫥C Usei,fcs： fldninisti*at：oi%DesktopSlihsvin9 .20%AjirdowsBvmtrain . exe t 0 1 - txt 2ptimizat inn finished ttitev = i 010 nu 0.356371bj = -?2.473356, rlio = -1.050696

15、nCU = 101, nBGH = 88Total nSU = 101G s Wsers JldninistriiturDesktuplibsvm3 .20wirdQwssum-train - exe -t 1 1. txt 2 * optimi is at ion in ihed ttiter = 148 nu = 0.BO508S ohj = -131.800243. rho = -0.165688 nSU 177, nBSU - 151 Total nSU = 177C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Fa

16、ini. exe -t 2 1. txt 2 * optioisat ion Jf in ztmhed. #iter 1C2 nu = H.431029 ohj = -180-77288, Mw = 0_424462 nSU = 132, nESU = 107 Total nSU = 132C- MJsersfi(liiiln lstratopDesltoipxLibsuii-3.20Xwin(lciws sum-train .exe -t 3 l.txt Z * optimization finished, iliter = 157 nu = 0.436762bj = -110 099362

17、, plio = -G.333939 nU = 124, nBSU = litTutrtl n&U = 124支持向量機算法訓練回歸方程：（1）.回歸數(shù)據(jù)集：見文檔“回歸數(shù)據(jù)集.doc”，總共506個數(shù)據(jù)，數(shù)據(jù)中 前13個屬性作為輸入，最后一個屬性作為輸出。:Usersflldninisti*atoi*Desktolibsvin3 .28windowssumr-predict Hexe 2,txt 2. txt .Rodel J lean squared epror = 9.681692 nuared correlation coefFicient = 3.283485 Cregrressio

18、nJ（2）.使用代碼中的epsilon-SVR算法和默認參數(shù)來訓練“回歸數(shù)據(jù)集.doc” 中所有的數(shù)據(jù)，統(tǒng)計回歸方程在每個數(shù)據(jù)點輸出的誤差并進行誤差分析。C： MJsersAiiliTiln istraCorXDesktopMLbsiini-3 .2 3 wn do y s s win-tr a in. e xe s 3 2.txt 5*o pt in iz at ion f inished, ttiter = 90nu = fl_8S5S35ohj = -99.070542, iho = 0.381291nSU = 125, nBSU = 112（3）.在2上嘗試不同的e psilon值（-

19、p ”參數(shù)）來調節(jié)e psilon-SVR算法 的性能。C sJldiriinistrfttiarDeskt(iplibsvm3 .20,ir3dowssum_train - exe _s 3 p 0.2 2 - txt 5* optPi izat ion in ihed ttiter = 92 nu = B.B64823 obj = -77.534421, rlio = 0.339066 nCU = 121, nEGU = 109C ： MJ s e 1s fldn in is tra to p XDe s kt o d1 ibs u m3 _ 2 0 Xwin do us s u m-t

20、ra in. e xe -s 3 -p 0.3 2 . txt 5K optimizatIon finished Ititer = 75 nu = Hh847488 obj = 66.246874, rho = 0.298788 nSU = lit, nESU = 10?C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Faini. exe 一s 3 -p 0.4 2 - txt 5 * opt io is at ion in Diied ttitep = 91 nu = 0.B3S03S bj = -55.164945, r

21、lio = 3.283221 nCU = 114, nBU = 104C： MJsersAiiliTilnistraCorXDesktopMLbsiini-3.20windoyssvrn-triain.exe s 3 -p 8-5 2.txt 5 *optinization finished, ttiter = 8G nu = 0.798757 obj = -44.995629, i4i口 = 0.228&3 uSU = 112, riBSU = 95五、思考題：闡述k-折交叉驗證的思想，比較1.2和1.3的性能。答： k-折交叉驗證(k-fold crossValidation)就是在機器學習中，將 數(shù)據(jù)集A分為訓練集(tra