統(tǒng)計學(xué)習(xí)理論與學(xué)習(xí)教案

1、會計學(xué)1統(tǒng)計學(xué)習(xí)統(tǒng)計學(xué)習(xí)(xux)理論與理論與第一頁，共68頁。8.1 概述概述(i sh)第2頁/共68頁第二頁，共68頁。的數(shù)學(xué)的數(shù)學(xué)(shxu)基礎(chǔ)基礎(chǔ)概率論與數(shù)理統(tǒng)計(sh l tn j)泛函分析“For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world,

2、but to save the world through him.” from JOHN 3:16-17 NIV 第3頁/共68頁第三頁，共68頁。 SLT&SVM所堅持的“基本(jbn)信念”傳統(tǒng)的估計高維函數(shù)依賴關(guān)系的方法所堅持的信傳統(tǒng)的估計高維函數(shù)依賴關(guān)系的方法所堅持的信念念 實際問題中總存在較少數(shù)目的一些實際問題中總存在較少數(shù)目的一些“強特征強特征”，用它們的簡單用它們的簡單(jindn)函數(shù)（如線性組合）就能函數(shù)（如線性組合）就能較好地逼近未知函數(shù)。因此，需要仔細地選擇一較好地逼近未知函數(shù)。因此，需要仔細地選擇一個低維的特征空間，在這個空間中用常規(guī)的統(tǒng)計個低維的特征空間，在

3、這個空間中用常規(guī)的統(tǒng)計技術(shù)來求解一個逼近。技術(shù)來求解一個逼近。SLT&SVM所堅持的信念所堅持的信念 實際問題中存在較大數(shù)目的一些實際問題中存在較大數(shù)目的一些“弱特征弱特征”，它，它們們“巧妙的巧妙的”線性組合可較好地逼近未知的依賴線性組合可較好地逼近未知的依賴關(guān)系。因此，采用什么樣的關(guān)系。因此，采用什么樣的“弱特征弱特征”并不十分并不十分重要，而形成重要，而形成“巧妙的巧妙的”線性組合更為重要。線性組合更為重要。第4頁/共68頁第四頁，共68頁。與傳統(tǒng)(chuntng)方法的區(qū)別要較好地實現(xiàn)傳統(tǒng)方法(fngf)，需要人工選擇（構(gòu)造）一些數(shù)目相對較少的“巧妙的特征”SVM方法(fngf

4、)則是自動地選擇（構(gòu)造）一些數(shù)目較少的“巧妙的特征”在實際應(yīng)用中，可通過構(gòu)造兩層（或多層）SVM來選擇“巧妙的特征”第5頁/共68頁第五頁，共68頁。SLT & SVM集以下(yxi)模型于一身：結(jié)構(gòu)風(fēng)險最小化（SRM）模型(mxng)數(shù)據(jù)壓縮模型(mxng)構(gòu)造復(fù)合特征的一個通用模型(mxng) 在希爾伯特空間中的內(nèi)積回旋可以 看作是構(gòu)造特征的一種標準途徑。對實際數(shù)據(jù)的一種模型(mxng) 一個小的支持向量集合可能足以對不同的機器代表整個訓(xùn)練集。第6頁/共68頁第六頁，共68頁。本本”是相對于無窮樣本而言的，是相對于無窮樣本而言的，故只要樣本數(shù)不是無窮，都可故只要樣本數(shù)不是無窮，都可

5、稱為小樣本，更嚴格地說，應(yīng)稱為小樣本，更嚴格地說，應(yīng)該稱為該稱為“有限樣本有限樣本”。第7頁/共68頁第七頁，共68頁。現(xiàn)象進行描述、辨認、分類和現(xiàn)象進行描述、辨認、分類和解釋的過程。解釋的過程。n統(tǒng)計學(xué)習(xí)理論統(tǒng)計學(xué)習(xí)理論n一種研究一種研究(ynji)(ynji)有限樣本有限樣本估計和預(yù)測的數(shù)學(xué)理論估計和預(yù)測的數(shù)學(xué)理論第8頁/共68頁第八頁，共68頁。第9頁/共68頁第九頁，共68頁。SLTSLT的發(fā)展的發(fā)展(fzhn)(fzhn)簡況簡況( (續(xù)續(xù)) )Vapnik和Chervonenkis(1974)提出了結(jié)構(gòu)風(fēng)險最小化（SRM）歸納原則。Vapnik和Chervonenkis(1989)

6、發(fā)現(xiàn)了經(jīng)驗風(fēng)險最小化歸納原則和最大似然方法一致性的充分必要條件,完成了對經(jīng)驗風(fēng)險最小化歸納推理的分析。90年代中期,有限樣本情況(qngkung)下的機器學(xué)習(xí)理論研究逐漸成熟起來,形成了較完善的理論體系統(tǒng)計學(xué)習(xí)理論(Statistical Learning Theory,簡稱SLT)第10頁/共68頁第十頁，共68頁。第11頁/共68頁第十一頁，共68頁。GLMSX Xyy第12頁/共68頁第十二頁，共68頁。第13頁/共68頁第十三頁，共68頁。1122( ,),(,),(,)nnx yxyxy ( , )f x0 ( , )f x( , )P x y( )( , ( , )( , )RL

7、y f xdP x y第14頁/共68頁第十四頁，共68頁。更為一般的問題作為其中間步驟。第15頁/共68頁第十五頁，共68頁。上述原則意味著，當(dāng)解決模式識別或回歸估計問題時，必須設(shè)法去“直接”尋找(xnzho)待求的函數(shù)，而不是首先估計密度，然后用估計的密度來構(gòu)造待求的函數(shù)。密度估計是統(tǒng)計學(xué)中的一個全能問題，即知道了密度就可以解決各種問題。一般地，估計密度是一個不適定問題(ill-posed problem)，需要大量觀測才能較好地解決。實際上，需要解決的問題（如決策規(guī)則估計或回歸估計）是很特殊的，通常只需要有某一合理數(shù)量的觀測就可以解決。第16頁/共68頁第十六頁，共68頁。11( )(,

8、( ,)nempiiiRwL yf x wn( )empRw()R w第17頁/共68頁第十七頁，共68頁。第18頁/共68頁第十八頁，共68頁。第19頁/共68頁第十九頁，共68頁。第20頁/共68頁第二十頁，共68頁。第21頁/共68頁第二十一頁，共68頁。n傳統(tǒng)的解決辦法（例如：采用正則化、模型選擇、噪聲干擾等方法以控制學(xué)習(xí)機器的復(fù)雜度）缺乏堅實的理論基礎(chǔ)。第22頁/共68頁第二十二頁，共68頁。第23頁/共68頁第二十三頁，共68頁。第24頁/共68頁第二十四頁，共68頁。第25頁/共68頁第二十五頁，共68頁。n第26頁/共68頁第二十六頁，共68頁。第27頁/共68頁第二十七頁，共

9、68頁。( )()(VC)lim0( )lim0( )lim0 xannxxH nnHnnG nn收斂的充分 必要 條件熵快收斂速度的充分條件 與概率測度無關(guān)的快收斂充要條件第28頁/共68頁第二十八頁，共68頁。( )empRw()R w1(ln(2 / ) 1) ln( /4)( )( )emphn hRRn 第29頁/共68頁第二十九頁，共68頁。(ln(2 / ) 1) ln( /4)( )( )emphn hRRn ( )( )()empnRRh 1第30頁/共68頁第三十頁，共68頁。第31頁/共68頁第三十一頁，共68頁。第32頁/共68頁第三十二頁，共68頁。第33頁/共68頁

10、第三十三頁，共68頁。(fnwi),則這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是最優(yōu)函數(shù)。支持向量機方法實際上就是這種思路的實現(xiàn)。第34頁/共68頁第三十四頁，共68頁。第35頁/共68頁第三十五頁，共68頁。第36頁/共68頁第三十六頁，共68頁。第37頁/共68頁第三十七頁，共68頁。第38頁/共68頁第三十八頁，共68頁。第39頁/共68頁第三十九頁，共68頁。() 1,1,.,iiyw xbilRbRwbxwN, 0).(11( ,),.,( ,), 1, 1nllx yx yxR y 2w2w第40頁/共68頁第四十頁，共68頁。211( )()22() 1,1,.,iiwww wyw xb

11、illiiiibwxywbwL1221) 1)(),(第41頁/共68頁第四十一頁，共68頁。liiiibwxywbwL1221) 1)(),(0),(0),(bwLwbwLbiiliiiliixywya110liiiiliiiililjijijijiibxxyxfyandlixxyyW1111,21)(sgn()(0,.,1, 0)()(第42頁/共68頁第四十二頁，共68頁。4x3x2x1x2221234223341( ) ()(444)2Qx1 =(0, 0), y1 = +1x2 =(1, 0), y2 = +1x3 =(2, 0), y3 = -1x4 =(0, 2), y4 = -

12、1可調(diào)用Matlab中的二次規(guī)劃(guhu)程序，求得1, 2, 3, 4的值，進而求得w和b的值。 第43頁/共68頁第四十三頁，共68頁。123412013 / 41 / 41120312002144231113,02224()3220wbgxxx 第44頁/共68頁第四十四頁，共68頁。第45頁/共68頁第四十五頁，共68頁。,Mercer條件,就可以作為內(nèi)積使用。第46頁/共68頁第四十六頁，共68頁。2( , ),( )0( ),) ( ) ( )0K x xxx dxKxxx dxdx對于任意的對稱函數(shù)它是某個特征空間中的內(nèi)積運算的充要條件是,對于任意的且有(x,第47頁/共68頁

13、第四十七頁，共68頁。第48頁/共68頁第四十八頁，共68頁。第49頁/共68頁第四十九頁，共68頁。第50頁/共68頁第五十頁，共68頁。第51頁/共68頁第五十一頁，共68頁。第52頁/共68頁第五十二頁，共68頁。第53頁/共68頁第五十三頁，共68頁。分類器錯誤率人工表現(xiàn)2.5%決策樹C4.516.2%最好的兩層神經(jīng)網(wǎng)絡(luò)5.9%SVM4.0%第54頁/共68頁第五十四頁，共68頁。SVM與神經(jīng)網(wǎng)絡(luò)（NN）的對比(dub)SVM的理論基礎(chǔ)比NN更堅實，更像一門嚴謹?shù)摹翱茖W(xué)”（三要素：問題(wnt)的表示、問題(wnt)的解決、證明）SVM 嚴格的數(shù)學(xué)推理NN 強烈依賴于工程技巧推廣能力取

14、決于“經(jīng)驗風(fēng)險值”和“置信范圍值”，NN不能控制兩者中的任何一個。NN設(shè)計者用高超的工程技巧彌補了數(shù)學(xué)上的缺陷設(shè)計特殊的結(jié)構(gòu)，利用啟發(fā)式算法，有時能得到出人意料的好結(jié)果。第55頁/共68頁第五十五頁，共68頁?！拔覀儽仨殢囊婚_始就澄清一個觀點，就是如果某事不是(b shi)科學(xué)，它并不一定不好。比如說，愛情就不是(b shi)科學(xué)。因此，如果我們說某事不是(b shi)科學(xué)，并不是(b shi)說它有什么不對，而只是說它不是(b shi)科學(xué)?！?by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley同理，與SVM相

15、比，NN不像一門科學(xué)，更像一門工程技巧，但并不意味著它就一定不好！第56頁/共68頁第五十六頁，共68頁。第57頁/共68頁第五十七頁，共68頁。第58頁/共68頁第五十八頁，共68頁。第59頁/共68頁第五十九頁，共68頁。第60頁/共68頁第六十頁，共68頁。第61頁/共68頁第六十一頁，共68頁。支持(zhch)向量機算法研究（續(xù)3）nSVM增量學(xué)習(xí)算法的研究n超球面(qimin)SVM算法研究nOne-class SVM算法nnSVM多值分類器算法nOne-against-the-rest（一對多方法）nOne-against-one（一對一方法）nMulti-class Object

16、ive Functions（多類SVM）nDecision Directed Acyclic Graph, DDAGnSVM Decision Treen超球面(qimin)SVM多值分類器n第62頁/共68頁第六十二頁，共68頁。第63頁/共68頁第六十三頁，共68頁。課后編程實現(xiàn)(shxin)題目（二選一）：設(shè)計并實現(xiàn)一個(y )簡單的用于文本分類的SVM。設(shè)計并實現(xiàn)一個(y )簡單的基于SVM的“新聞分離器”，主要用于對浙大BBS“縹緲水云間”中news版上的新聞進行分類。第64頁/共68頁第六十四頁，共68頁?？茖W(xué)研究的基本原則，很有啟發(fā)、借鑒意義。第65頁/共68頁第六十五頁，共68頁。nIntroduction to Support Vector Machine.nVapnik V N. 著，張學(xué)工譯. 統(tǒng)計學(xué)習(xí)理論.人民郵電出版社.n張學(xué)工. 關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機. 自動化學(xué)報, 2000年第1期.n史朝輝. SVM算法研究及在HRRP分類中的應(yīng)用. 空軍(kngjn)工程大學(xué)碩士學(xué)位論文, 2005.主要(zhyo)參考文獻（續(xù)）：第66頁/共68頁