matlab神經(jīng)網(wǎng)絡(luò)教學(xué)矩陣實驗室.svm2original講解2by faruto

視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

SVMMatlab工具箱分類實例應(yīng)用及理論介紹faruto

2009.8.14視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

總體目錄:1.實踐(matlab_svm_1.wmv) a.whatisSVM? b.libsvm-mat的安裝及使用初步介紹 c.實例(usingwinedata)2.理論(matlab_svm_2.wmv) a.統(tǒng)計學(xué)習(xí)理論（StatisticalLearningTheory）[SVM的理論基礎(chǔ)] b.SVM的基本思想 c.libsvm中采用的各種SVM模型及l(fā)ibsvm使用詳細介紹視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

Review:1.WhatisSVM?SupportVectorMachine2.SVM工具箱的注意事項>>mex–setup%letsyouselectorchangethecompilerconfiguration>>make1.安裝時需要把libsvm-mat作為當前的工作目錄,在后面使用時并將其加為工作目錄(setpath…).2.電腦里需要有相應(yīng)的編譯器,可以用自帶的,最好裝一個VC.3.SVM的使用Model=svmtrain(train_label,train,[option]);[predict_label,accuracy]=svmpredict(test_label,test,model);視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

統(tǒng)計學(xué)習(xí)理論（StatisticalLearningTheory）>>Vapnik在60-70年代提出了統(tǒng)計學(xué)習(xí)理論的基本思想，并在20世紀90年代中期不斷發(fā)展和成熟>>與傳統(tǒng)的統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論是一種專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論>>該理論針對小樣本問題建立了一套新的理論體系，在這個理論體系下的統(tǒng)計推理規(guī)則不僅考慮了對漸進性能的要求，而且追求在現(xiàn)有有限信息的條件下得到最優(yōu)結(jié)果視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

統(tǒng)計學(xué)習(xí)理論（StatisticalLearningTheory）>>與傳統(tǒng)的統(tǒng)計理論相比，統(tǒng)計學(xué)習(xí)理論基本上不涉及概率測度的定義及大數(shù)定律>>統(tǒng)計學(xué)習(xí)理論為建立有限樣本學(xué)習(xí)問題提供了一個統(tǒng)一的框架>>它避免了人工神經(jīng)網(wǎng)絡(luò)等方法的網(wǎng)絡(luò)結(jié)構(gòu)選擇、過學(xué)習(xí)和欠學(xué)習(xí)以及局部極小等問題.過學(xué)習(xí)狀況:視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載！！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

支持向量機方法是建立在統(tǒng)計學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險最小原理基礎(chǔ)上的.>>所謂VC維是對函數(shù)類的一種度量，可以簡單的理解為問題的復(fù)雜程度，VC維越高，一個問題就越復(fù)雜。>>正是因為SVM關(guān)注的是VC維，后面我們可以看到，SVM解決問題的時候，和樣本的維數(shù)是無關(guān)的>>（甚至樣本是上萬維的都可以，這使得SVM很適合用來解決文本分類的問題，當然，有這樣的能力也因為引入了核函數(shù)）。[byhgsz2003(洛洛)2.29#]

視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

SVM實現(xiàn)了下列思想:升維>>線性化通過事先選擇好的某一個非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構(gòu)造一個最有分類超平面.視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

前面也只是說了一些”空”的理論層面的東西,咱們來實際算算吧.[以下內(nèi)容數(shù)學(xué)意味會較濃!]求最優(yōu)分類超平面等價于求最大間隔視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

線性可分的最優(yōu)超平面的求解:原問題:對偶問題:最終的判斷函數(shù):視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

現(xiàn)在考慮非線性可分情況:此時x經(jīng)過變化映射到高維空間中了.X=>fai(x)視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載！！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

Mercer定理保證了內(nèi)積核函數(shù)的存在.常見的核函數(shù):視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

Libsvm采用的各種SVM的模型:1.C-SVC(C-supportvectorclassification)2.nu-SVC(nu-supportvectorclassification)3.one-classSVM(distributionestimation)4.epsilon-SVR(epsilon-supportvectorregression)5.nu-SVR(nu-supportvectorregression)視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載?。atlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

Libsvm參數(shù)詳解:-ssvm類型：SVM設(shè)置類型(默認0)

0--C-SVC

1--v-SVC

2–一類SVM

3--e-SVR

4--v-SVR-t核函數(shù)類型：核函數(shù)設(shè)置類型(默認2)

0–線性：u'v

1–多項式：(r*u'v+coef0)^degree

2–RBF函數(shù)：exp(-r|u-v|^2)

3–sigmoid：tanh(r*u'v+coef0)-ddegree：核函數(shù)中的degree設(shè)置(針對多項式核函數(shù))(默認3)-gr(gama)：核函數(shù)中的gamma函數(shù)設(shè)置(針對多項式/rbf/sigmoid核函數(shù))(默認1/k)-rcoef0：核函數(shù)中的coef0設(shè)置(針對多項式/sigmoid核函數(shù))((默認0)-ccost：設(shè)置C-SVC，e-SVR和v-SVR的參數(shù)(損失函數(shù))(默認1)-nnu：設(shè)置v-SVC，一類SVM和v-SVR的參數(shù)(默認0.5)-pp：設(shè)置e-SVR中損失函數(shù)p的值(默認0.1)-mcachesize：設(shè)置cache內(nèi)存大小，以MB為單位(默認40)-eeps：設(shè)置允許的終止判據(jù)(默認0.001)-hshrinking：是否使用啟發(fā)式，0或1(默認1)-wiweight：設(shè)置第幾類的參數(shù)C為weight?C(C-SVC中的C)(默認1)-vn:n-fold交互檢驗?zāi)Ｊ?，n為fold的個數(shù)，必須大于等于2其中-g選項中的k是指輸入數(shù)據(jù)中的屬性數(shù)。option-v隨機地將數(shù)據(jù)剖分為n部分并計算交互檢驗準確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照SVM的類型和核函數(shù)所支持的參數(shù)進行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會產(chǎn)生影響，程序不會接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確，參數(shù)將采用默認值。視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

再看winedata視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

Review:1.統(tǒng)計學(xué)習(xí)理論（StatisticalLearningTheory）2.SVM實現(xiàn)了下列思想:升維>>線性化通過事先選擇好的某一個非線性變換,講輸入向量映射到高維特征空間中,在一特征空間中,構(gòu)造一個最有分類超平面.3.線性可分的最優(yōu)超平面的求解過程.視頻名稱:SVMMatlab工具箱分類實例應(yīng)用及理論介紹主講人:faruto(Matlab中文論壇人工智能版主)版權(quán)申明：視頻歸原創(chuàng)作者跟Matlab中文論壇所有，可以在Matlab中文論壇下載或者觀看，請勿轉(zhuǎn)載??！Matlab&Simulink為美國mathworks公司注冊商標！版權(quán)歸mathworks公司所有！

我個人的建議:一個好的分類器固然重要,但不要全部指望分類器,前期的數(shù)據(jù)預(yù)處理亦很重要[去噪,規(guī)范化,特征提取],可以這么說的當你數(shù)據(jù)預(yù)處理的完美的