2025年模式識(shí)別課程實(shí)戰(zhàn)上機(jī)實(shí)驗(yàn)綜合訓(xùn)練報(bào)告

班級(jí)：電信111.掌握支持向量機(jī)(SVM)的原理、核函數(shù)類型選擇以及核參數(shù)選擇原則等；labelindex1:valuelindex2:value2...其中對(duì)于分類來說label為類標(biāo)識(shí)，指定數(shù)據(jù)的種類；對(duì)于回歸來說label為目的值。(我重要要用到回歸)Index是從1開始的自然數(shù)，value是每一維的特性值。先將數(shù)據(jù)按照下列格式寄存(注意label放最背面):valuelvalue2labvaluelvalue2lab然后將以上數(shù)據(jù)粘貼到FormatDataLibsvm.xls中的最左上角單元格，接著工具->宏執(zhí)行行FormatDataToLibsvm宏。就可以得到libsvm規(guī)定的數(shù)據(jù)格式。將該數(shù)據(jù)寄存到文本文獻(xiàn)中進(jìn)行下一步的處理。該過程要用到libsvm軟件包中的svm-scale.exe=1,沒有對(duì)y進(jìn)行縮放)其中，-1:數(shù)據(jù)下限標(biāo)識(shí)；lower:縮放后數(shù)據(jù)下限；-u:數(shù)據(jù)上限標(biāo)識(shí)；upper:縮放后數(shù)據(jù)上限；-y:與否對(duì)目的值進(jìn)行縮放，因此該參數(shù)可以設(shè)定為-y-11)-ssave_:表達(dá)將縮放的規(guī)則保留為文獻(xiàn)save_;-rrestore_:表達(dá)將縮放規(guī)則文獻(xiàn)restore_載入后按此縮放；:待縮放的數(shù)據(jù)文獻(xiàn)(規(guī)定滿足前面所述的格式)。y其中的lower與upper與使用時(shí)所設(shè)置的lower與upper含義相似；index表示特性序號(hào)；min轉(zhuǎn)換前該特性的最小值；max轉(zhuǎn)換前該特性的最大值。數(shù)據(jù)集的縮放成果在此狀況下通過DOS窗(Value-lower)*(max-min)/(upper-lower)+lower其中value為歸一化后的值，其他參數(shù)使用方法：svmtrain[options]training_set_file[其中，options(操作參數(shù)):可用的選項(xiàng)即表達(dá)的涵義如下所示-ssvm類型：設(shè)置SVM類型，默認(rèn)值為0,可選類型有(對(duì)于回歸只能選3或4):0--C-SVC1--n-SVC2--one-class-SVM3--e-SVR核函數(shù)類型：設(shè)置核函數(shù)類型，默認(rèn)值為2,可選類型有：0--線性核：u'*v1--多-gg:設(shè)置核函數(shù)中的g,默認(rèn)值為1/k;-rcoef0:設(shè)置核函數(shù)中的coef0,默認(rèn)值為0;-ccost:設(shè)置C-SVC、e-SVR、n6-SVR中從懲罰系數(shù)C,默認(rèn)值為1;-nn:設(shè)置n-SVC、one-class-SVM與n-SVR中參數(shù)n,默認(rèn)值0.5;-pe:設(shè)置n-SVR的損失函數(shù)中的e,默認(rèn)值為0.1;-mcachesize:設(shè)置cache內(nèi)存大小，以MB為單位，默認(rèn)值為40;-ee:設(shè)置終止準(zhǔn)則中的可容忍偏差，默認(rèn)值為0.001;-hshrinking:與否使用啟發(fā)式，可選值為0或1,默認(rèn)值為1;-b概率估計(jì)：與否計(jì)算SVC或SVR的概率估計(jì)，可選值0或1,默認(rèn)0;-wiweight:對(duì)各類樣本的懲罰系數(shù)C加權(quán)，默認(rèn)值為1;-vn:n折交叉驗(yàn)證模式。其中-g選項(xiàng)中的k是指輸入數(shù)據(jù)中的屬性數(shù)。操作參數(shù)-v隨機(jī)地將數(shù)據(jù)剖分為n部分并計(jì)算交叉檢查精確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照SVM的類參數(shù)在函數(shù)或SVM類型中沒有也不會(huì)產(chǎn)生采用默認(rèn)值。training_set_file是要進(jìn)行訓(xùn)練的數(shù)據(jù)集；model_file是訓(xùn)練結(jié)束后產(chǎn)生的模型文獻(xiàn)，該參數(shù)假如本試驗(yàn)中的參數(shù)-s取3,-t取2(默認(rèn))還需確定的參數(shù)是-c,-g,-p另，試驗(yàn)中所需調(diào)整的重要參數(shù)是-c和-g,-c和-g的調(diào)整除了自己根據(jù)經(jīng)驗(yàn)試之外，還可以使用gridregression.py對(duì)這兩個(gè)參數(shù)進(jìn)行優(yōu)化。(需要補(bǔ)充)該優(yōu)化過程需要用到Python(2.5),Gnuplot(4.2),gridregression.py(該文獻(xiàn)需要修改途徑)。python.exegridregression.py-log2c-10,10,1-log2g-10,10E:\libsvm\libsvm-2.86\windows\svm--gnuplotE:libsvmlibsvm-2.86\gnuplot\bin\pgnuplot.exeE:\libsvm\libsvm-2.86\windows\train.txt>gridregression_feature.p-log2c是給出參數(shù)c的范圍和步長(zhǎng)-log2g是給出參數(shù)g的范圍和步長(zhǎng)-log2p是給出參數(shù)p的范圍和步長(zhǎng)上面三個(gè)參數(shù)可以用默認(rèn)范圍和步長(zhǎng)-s選擇SVM類型，也是只能選3或者4-t是選擇核函數(shù)-v10將訓(xùn)練數(shù)據(jù)提成10份做交叉驗(yàn)證。默認(rèn)為5為了以便將gridregression.py是寄存在python.exe安裝目錄下搜索結(jié)束后可以在gridregression_feature.parameter中最終一行看到最其中，最終一行的第一種參數(shù)即為-c,第二個(gè)為-g,第三個(gè)為-p,最終一種參數(shù)為均方誤差。前三個(gè)參數(shù)可以使用方法：svmpredict[options]test_output_(操作參數(shù)):-bprobability_estimates:與否需要進(jìn)行概率估計(jì)預(yù)測(cè)，可選值為0或者1,默認(rèn)值為0。model_file是由svmtrain產(chǎn)生的模型文獻(xiàn)；test_file是要進(jìn)行預(yù)測(cè)的數(shù)據(jù)文獻(xiàn)；output_file是svmpredict的輸出成果包括均方誤差(Meansquarederror)和有關(guān)系數(shù)(Squaredcorrelationcoefficient)。2.Matlab仿真軟件一7.0/7.1/a等版本的Matlab軟件。四、試驗(yàn)原理使用svm-scale對(duì)數(shù)據(jù)進(jìn)行縮放是必要的。由于合適的scale有助于參數(shù)的選用和建svm模型的速度。svm-scale會(huì)對(duì)value做scale。范圍用-1,-u指定，一般是[0,1],或是[-1,1]。(文本分類一般選[0,1])。翰出在stdout。此外要注意的是testingdata和trainingdata要一起scale。而svm-scale最難用的地方就是沒措施指定testingdata/trainingdata為同一文檔，然后一起scale。因此為了背面測(cè)試，還要對(duì)測(cè)試集進(jìn)行scale。五、試驗(yàn)數(shù)據(jù)及成果分析：訓(xùn)練樣本識(shí)別率1(%)測(cè)試樣本識(shí)別$/(%)Svmtoy輸出圖形clear;%清屏n=length(X);%總樣本數(shù)量y=X(:,4);%類別標(biāo)志b=0;%初始設(shè)置截距bfori=1:50%設(shè)置類別標(biāo)志為1或者-1a=zeros(n,1);%參數(shù)a%為簡(jiǎn)化計(jì)算，減少反復(fù)計(jì)算進(jìn)行的計(jì)算fori=1:n%求出K矩陣，便于之后的計(jì)算sum(k)=sum(k)+a(i)*%啟發(fā)式選點(diǎn)nl=1;%初始化，n1,n2代表選擇的2個(gè)點(diǎn)%n1按照第一種違反KKT條件的點(diǎn)選擇whilenl<=nify(n1)*(sum(n1)+b)==1&&a(n1)>=C&&a(n1)<=0ify(n1)*(sum(n1)+b)>1&&a(n1)~=0ify(n1)*(sum(n1)+b)<1&&a(n1)~=CE1=sum(n1)+b-y(n1);%n1的誤差ifabs(E1-tempSum)>maxDiffmaxDiff=abs(E1-temp%如下進(jìn)行更新KK=K(n1,n1)+K(n2,n2)-2*K(n1a2new=a2old+y(n2)*(E1-E2)/KK;%計(jì)算新的a2%a2必須滿足約束條件ifS==-1U=max(0,alold+a2oldifa2new>Vifa2new<Ualnew=alold+S*(a2old-a2new);%計(jì)算新的ala(n1)=alnew;%更新a%更新部分值sum(k)=sum(k)+a(i)*tempSum=tempSum+y(i)*y(j)*a(i)*a(j)%如下更新b:通過找到某一種支持向量來計(jì)算support=1;%支持向量坐標(biāo)初始化whileabs(a(support))<le-4b=1/y(support)-sum(support%判斷停