SVM支持向量機(jī)簡介課件

1、 支持向量機(jī)（SVM）第一部分 支持向量分類機(jī)第二部分 支持向量回歸機(jī)第三部分 Libsvm軟件簡介第部分 引例第部分 引例案例1：意大利葡萄酒種類識別wine數(shù)據(jù)(chapter12_wine.mat)記錄的是意大利同一地區(qū)3中不同品種的葡萄酒13中化學(xué)成分含量。共有178個樣本。利用SVM建立分類模型，達(dá)到自動分類葡萄酒品種的目的。分類問題的數(shù)學(xué)表示已知：訓(xùn)練集包含 個樣本點：說明： 是輸入向量，其分量稱為特征或?qū)傩?是輸出指標(biāo). 問題：對一個新的數(shù)據(jù) ，推斷它所對應(yīng)的輸出分類問題目標(biāo)屬性是離散的案例2：上證指數(shù)開盤指數(shù)預(yù)測Chapter14_sh.mat數(shù)據(jù)記錄的是從1990年12月19

2、日到2009年8月19日期間4579個交易日每日上證綜合指數(shù)的各項指標(biāo)。分別記錄當(dāng)天上證指數(shù)的開盤指數(shù)：指數(shù)最高值，指數(shù)最低值，收盤指數(shù)，當(dāng)日交易量，當(dāng)日交易額。利用SVM建立的回歸模型對開盤指數(shù)進(jìn)行預(yù)測?；貧w問題的數(shù)學(xué)表示已知：訓(xùn)練集包含 個樣本點：說明： 是輸入向量，其分量稱為特征或?qū)傩?是輸出數(shù)值. 問題：對一個新的數(shù)據(jù) ，推斷它所對應(yīng)的輸出回歸問題目標(biāo)屬性是連續(xù)的第一部分 支持向量分類機(jī) 1.線性可分問題 代表+1代表 -1怎樣將數(shù)據(jù)分類？w Tx + b=0w Tx + b0代表 +1代表 -1哪一個“最好”呢？最大間隔代表 +1代表 -1支持向量“Predict Class = +

3、1” zone“Predict Class = -1” zonewTx+b=1wTx+b=0wTx+b=-1間隔寬度M目標(biāo)1：將所有的點正確分類目標(biāo)2：最大化間隔寬度最優(yōu)分類面問題可以表示成約束優(yōu)化問題 只要求得該問題的最優(yōu)解 ，從而可以構(gòu)造出劃分超平面 ，得出決策函數(shù) 。wTx+b=1wTx+b=0wTx+b=-12.近似線性可分問題不要求所有訓(xùn)練點都被正確分類 ，對每個訓(xùn)練點引入松弛變量 并滿足約束?？捎?度量錯劃分程度。兩個目標(biāo)：1. 間隔盡可能大 2. 錯劃程度盡可能小參數(shù)C由用戶給定: x (x)3.非線性可分問題為以上優(yōu)化問題對應(yīng)的對偶優(yōu)化問題的最優(yōu)解參數(shù)C由用戶給定常用核函數(shù)線性

4、核:多項式核:高斯核（RBF）：Sigmoid核:-SVC參數(shù)由用戶給定多分類問題a.一對其余法(OvR)：訓(xùn)練時依次把某個類別的樣本歸為一類,其他剩余的樣本歸為另一類，這樣就訓(xùn)練出了N個SVM。當(dāng)對一個未知樣本進(jìn)行分類時，得票最多的類別即為該未知樣本的類別。b.一對一法（OvO）：在任意兩類樣本之間設(shè)計一個SVM，因此N個類別的樣本就需要設(shè)計 N(N-1)/2個SVM。當(dāng)對一個未知樣本進(jìn)行分類時，得票最多的類別即為該未知樣本的類別。OvO與OvR示意圖第二部分 支持向量回歸機(jī)y=wTx+b+y=wTx+b-y=wTx+b有少量的樣本落在-帶外，對落在-帶外的樣本進(jìn)行懲罰。y=wT.x+b+y

5、=wT.x+by=wT.x+b-SVR參數(shù)由用戶給定-SVR參數(shù)由用戶給定第三部分 Libsvm簡介LIBSVM是臺灣大學(xué)林智仁(Lin Chih-Jen)教授等開發(fā)設(shè)計的軟件。.tw/cjlin/libsvm/libsvm工具箱有C-SVC, -SVC, -SVR, -SVR等多種模型可供使用。libsvm采用OvO算法支持多分類問題。MATLAB自帶的svm實現(xiàn)函數(shù)是svmtrain和svmclassify函數(shù)，實現(xiàn)C-SVC模型，且僅支持二分類問題。Libsvm的使用準(zhǔn)備工作：將libsvm3.22解壓準(zhǔn)備工作：安裝Visual C+編譯器（不同的matlab版本需要安裝不同的編譯器，m

6、atlab2015,matlab2016安裝Visual Studio 2015即可）全選否則有可能導(dǎo)致編譯不通過1. 選擇編譯器：在命令窗口中輸入mex -setup注：步驟1和2均在libsvm-3.22matlab目錄下操作2. 編譯文件(make)：在命令窗口中輸入make此時可以使用libsvm軟件包了利用svmtrain建立模型model=svmtrain(traindata_y,traindata_x,options)利用svmpredict預(yù)測predict_y, accuracy(mse),decision_values = svmpredict(testdata_y, te

7、stdata_x, model);可用的選項如下-s svm類型：SVM設(shè)置類型(默認(rèn)0)0 - C-SVC1 - -SVC2 一類SVM3 - -SVR4 - -SVR-t 核函數(shù)類型：核函數(shù)設(shè)置類型(默認(rèn)2)0 線性：uv1 多項式：(r*uv + coef0)degree2 RBF函數(shù)：exp(-r|u-v|2)3 sigmoid：tanh(r*uv + coef0)-d degree：核函數(shù)中的degree設(shè)置(針對多項式核函數(shù))(默認(rèn)3)-g r(gama)：核函數(shù)中的gamma函數(shù)設(shè)置(針對多項式/rbf/sigmoid核函數(shù))(默認(rèn)1/ k)-r coef0：核函數(shù)中的coef0

8、設(shè)置(針對多項式/sigmoid核函數(shù))(默認(rèn)0)-c cost：設(shè)置C-SVC， -SVR和 -SVR的參數(shù)(損失函數(shù))(默認(rèn)1)-n nu：設(shè)置 -SVC，一類SVM和 -SVR的參數(shù)(默認(rèn)0.5)-p p：設(shè)置 -SVR 中損失函數(shù)p的值(默認(rèn)0.1) -v n: n折交叉驗證。以上這些參數(shù)設(shè)置可以按照SVM的類型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合。如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確，參數(shù)將采用默認(rèn)值?；貧w問題常用的性能度量：均方誤差分類問題常用的性能度量：分類錯誤率參數(shù)設(shè)置不同，模型的性能往往有顯著差別。對參數(shù)的設(shè)置進(jìn)行設(shè)定

9、，就是所謂的“參數(shù)調(diào)節(jié)(調(diào)參)”。將訓(xùn)練數(shù)據(jù)分為訓(xùn)練集和驗證集?；隍炞C集上的性能來進(jìn)行模型選擇和調(diào)參。k-折交叉驗證：將訓(xùn)練數(shù)據(jù)A分為訓(xùn)練集和驗證集，將數(shù)據(jù)集A隨機(jī)分為k組數(shù)據(jù)，每次將其中一組數(shù)據(jù)作為驗證集，剩下k-1組數(shù)據(jù)作為訓(xùn)練集進(jìn)行訓(xùn)練。k一般取5或者10。10折交叉驗證示意圖當(dāng)svmtrain使用-v參數(shù)時，此時svmtrain返回的不再是一個結(jié)構(gòu)體，而是交叉驗證的精度。對于分類問題，返回的是交叉驗證下的平均分類準(zhǔn)確率；對于回歸問題，返回的是交叉驗證下的平均均方根誤差。怎樣選擇合適的參數(shù)？對不同的參數(shù)，模型會有不同的精度，盡可能地選擇使交叉驗證精度最優(yōu)的參數(shù)。把參數(shù)當(dāng)成自變量，精度當(dāng)成因變量，選擇參數(shù)的問題就相當(dāng)于一個優(yōu)化問題?？煽紤]用網(wǎng)格搜索法，智能優(yōu)化算法比如遺傳算法、粒子群算法等等。數(shù)據(jù)規(guī)范化：We recommend linearlyscaling each attribute to the range -1,1 or 0,1. Min-max 規(guī)范化(Matlab命令：mapminmax) mapminmax processes input and target data by mapping it from its original range to the range -1 1. z-score規(guī)范化(Matlab命令：mapstd) m