模式識別課程報告(礦大)

1、 中國礦業(yè)大學(xué) 級本科生課程報告課程名稱 模式識別 報告時間 2014-6-14 學(xué)生姓名 學(xué) 號 專 業(yè) 任課教師 任課教師評語任課教師評語（對課程基礎(chǔ)理論的掌握；對課程知識應(yīng)用能力的評價；對課程報告相關(guān)實驗、作品、軟件等成果的評價；課程學(xué)習(xí)態(tài)度和上課紀(jì)律；課程成果和報告工作量；總體評價和成績；存在問題等）：對課程基礎(chǔ)理論的掌握；對課程知識應(yīng)用能力的評價；對課程報告相關(guān)實驗、作品、軟件等成果的評價；課程學(xué)習(xí)態(tài)度和上課紀(jì)律；課程成果和報告工作量；總體評價和成績；存在問題等成 績： 任課教師簽字： 年 月 日摘要支持向量機是一種有監(jiān)督學(xué)習(xí)方法，可被廣泛應(yīng)用于統(tǒng)計分類以及線性回歸。vapnik等人

2、在多年研究統(tǒng)計學(xué)習(xí)理論基礎(chǔ)上對線性分類器提出了另一種設(shè)計最佳準(zhǔn)則。其原理也從線性可分說起，然后擴展到線性不可分的情況。甚至擴展到使用非線性函數(shù)中去，這種分類器被稱為支持向量機。本次課題的選擇來源于一次模式識別的實驗，在該課題中對實驗進行了擴展，從線性可分的數(shù)據(jù)樣本集擴展到了線性不分的數(shù)據(jù)樣本集。在本次報告中，將著重介紹使用支持向量機對線性不可分樣本的分類方法。開發(fā)環(huán)境使用的是matlab。為了更直觀、更清晰地支持向量機的原理和強大功能，報告中將介紹一個驗證性實驗，從實例中表現(xiàn)實驗結(jié)果。通過實驗，最后得出結(jié)論：支持向量機在解決線性不可分樣本集的分類問題上具有超強的本領(lǐng)。abstractsuppo

3、rt vector machine is a kind of supervised learning method, which can be widely used in statistical classification and linear regression. vapnik et al study theory is another design criterion of optimal linear classifier is proposed in years of research and statistics. the principle from the linear s

4、eparable about, and then extended to linear inseparable case. even extended to the use of nonlinear function, this classifier called support vector machine.select a source of this subject in an experimental pattern recognition, in this topic has been extended to experiment, from linearly separable d

5、ata set is extended to the linear regardless of the data set. in this report, will focus on support vector machine classification method using the linear inseparable samples.development environment using matlab. in order to more intuitive, more clearly the principle of support vector machine and pow

6、erful functions, the report will introduce a verification experiment, performance results from the instance.through the experiment, finally draws the conclusion: support vector machine has strong ability in classification problem solving linear inseparable sample set.關(guān)鍵詞：svm；matlab；線性不可分；高維。 目 錄1.引言

7、12.原理分析13.理論說明34.實現(xiàn)步驟流程45.實驗設(shè)計和結(jié)果分析46.結(jié)論61. 引言分類問題大體有三種類型，以我們第一次模式識別實驗中的兩種分類為例來說，很容易用一條直線把訓(xùn)練樣本集正確地分開，即兩類點分別在直線的兩側(cè)，沒有錯分點，這類問題稱為線性可分問題；用一條直線也能大全上把訓(xùn)練樣本集正確分開，僅有較少的錯分點，這類問題稱為近似線性可分問題；當(dāng)用一條直線，無論怎么放都會產(chǎn)生很大誤差時，這類問題稱為線性不可分問題。在感知準(zhǔn)則函數(shù)實驗中，雖然實驗數(shù)據(jù)是想讓我們實現(xiàn)近似線性劃分，而我們所完成的也僅僅是最簡單的線性劃分。對于線性不可分樣本集的分類問題，感知準(zhǔn)則函數(shù)就有些吃力了，而支持向量機

8、在處理這方面問題時有著得天獨厚的優(yōu)勢。此外，支持向量機在解決小樣本、高維模式識別問題方面，也表現(xiàn)出超強的本領(lǐng)。2. 原理分析對于線性可分問題，svm的方法與感知準(zhǔn)則函數(shù)的方法相同，都是著重去找最優(yōu)分類面。如下圖所示：圖1 線性可分情況下的最優(yōu)分類線 為將兩類完全正確分開的分類線，和分別為過兩類樣本中離分類線最近的點且平行于分類線的直線，也稱為支撐線，和之間的距離即為兩類的分類間隔。最優(yōu)分類線不但能將兩類樣本無錯誤地分開，而且要能使兩類的分類間隔最大。前者是保證經(jīng)驗風(fēng)險最小，在線性可分的情況下，沒有錯分樣本，經(jīng)驗風(fēng)險為0，后者實際上是為了使推廣性的界中的置信區(qū)間最小，從而使期望風(fēng)險最小，這是結(jié)構(gòu)

9、風(fēng)險最小化原則的具體實現(xiàn)。對于線性不可分問題，經(jīng)驗風(fēng)險不為0，因此需要從srm原則的一般性概念來構(gòu)造學(xué)習(xí)機，也就是首先找能使得經(jīng)驗風(fēng)險和置信范圍的和最小的某個子集，然后在這個子集中最小化經(jīng)驗風(fēng)險。用松弛變量來表示經(jīng)驗風(fēng)險： ，i= 1,2,l （2.1）這樣，經(jīng)驗風(fēng)險就可表示為： （2.2）給定樣本數(shù)據(jù)之后，在容許結(jié)構(gòu)的某個子集下最小化經(jīng)驗風(fēng)險。最小化泛函： （2.3）約束條件： 等價約束條件： （2.4）求解這個優(yōu)化問題的技術(shù)與上面線性可分的情況相似，原問題的對偶形式為： （2.5）約束條件變?yōu)椋?,i=1,2,l 這樣原問題的解為： （2.6）其中c是一個變化的量，由用戶在機器進行學(xué)習(xí)前指

10、定。對應(yīng)于線性可分情況下的硬間隔，一般把在線性不可分情況下得到的超平面稱為軟間隔超平面。支持向量機的高維映射：在低維輸入空間向高維特征空間映射過程中，由于空間維數(shù)迅速增長，這就使得在大多數(shù)情況下難以直接在特征空間計算最優(yōu)分類面或是計算過于復(fù)雜。支持向量機通過定義核函數(shù)，巧妙地把這一問題轉(zhuǎn)化到初始空間進行計算。也就是說，雖然將數(shù)據(jù)映射到了高維空間，但計算還是在低維空間，或者說計算的復(fù)雜程度還維持在低維空間沒有變。在核函數(shù)的定義下，二次規(guī)劃問題如下： ，i= 1,2,l相應(yīng)的判別函數(shù)式： （2.7）這就是svm方法。這種非線性變換是通過定義適當(dāng)?shù)暮撕瘮?shù)來實現(xiàn)的，升維后只是改變了內(nèi)積運算，并沒有使算

11、法復(fù)雜性隨著維數(shù)的增加而增加。3. 理論說明支持向量機（support vector machines，svm），又稱支持矢量機，是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法，主要應(yīng)用于人工智能、模式識別領(lǐng)域。它是繼經(jīng)典的參數(shù)統(tǒng)計估計算法、人工神經(jīng)網(wǎng)絡(luò)之后的第三種基于數(shù)據(jù)的機器學(xué)習(xí)方法。svm的基本思想是：把訓(xùn)練數(shù)據(jù)集非線性地映射到一個高維特征空間去，通過映射，將原本線性不可分的數(shù)據(jù)集變成在高維特征空間中線性可分的數(shù)據(jù)集，隨后再利用線性可分的方法進行分類，分完后再返回初始空間。svm基于結(jié)構(gòu)風(fēng)險最小化理論（srm），即使經(jīng)驗風(fēng)險與置信范圍的和最小化。這需要通過控制兩個因素來完成，即經(jīng)驗風(fēng)險的值和置信范

12、圍的值。神經(jīng)網(wǎng)絡(luò)采用的是：保持置信范圍固定并最小化經(jīng)驗風(fēng)險。支持向量機采用的是第二種方法：保持經(jīng)驗風(fēng)險值固定并最小化置信范圍。svm的目標(biāo)就是要根據(jù)結(jié)構(gòu)風(fēng)險最小化的原理，構(gòu)造一個目標(biāo)函數(shù)將兩類模式盡可能地區(qū)分開來。svm的理論基礎(chǔ)之一vc維理論：對一個指求函數(shù)集，如果存在個樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開，則稱函數(shù)集能夠把個樣本找散，函數(shù)數(shù)集的vc維是。對于一個指示函數(shù)集，如果其生長函數(shù)是線性的，則它的vc維為無窮大；而如果生長函數(shù)以參數(shù)為的對數(shù)函數(shù)為界，則函數(shù)的vc維是有界的且等于。根據(jù)統(tǒng)計學(xué)習(xí)理論中關(guān)于函數(shù)集的推廣性的結(jié)論，對于指示函數(shù)集,如果損失函數(shù)r 取值為0或1，則有如

13、下定理：對于指示函數(shù)集中的所有函數(shù)，經(jīng)驗風(fēng)險和實際風(fēng)險之間至少以的概率滿足如下關(guān)系。 （3.1）其中，為函數(shù)集 的vc維，為訓(xùn)練集規(guī)模。由上式可以看出，在學(xué)習(xí)系統(tǒng)的vc維與訓(xùn)練集規(guī)模的比值很大時，即使經(jīng)驗風(fēng)險較小，也無法保證期望風(fēng)險較小，即無法保證學(xué)習(xí)系統(tǒng)具有較好的泛化能力。因此，要獲得一個泛化性能較好的學(xué)習(xí)系統(tǒng)，就需要在學(xué)習(xí)系統(tǒng)的vc維與訓(xùn)練集的規(guī)模之間達(dá)成一定的均衡。該定理也被稱為推廣性的界。這一結(jié)論從理論上說明了學(xué)習(xí)機器的實際風(fēng)險是由兩部分組成的：一部分是經(jīng)驗風(fēng)險，另一部分是置信范圍。4. 實現(xiàn)步驟流程1、選定線性不可分的樣本集；2、將數(shù)據(jù)映射到高維特征空間；3、選擇合適的核函數(shù)（本實驗

14、選的是高斯徑向基核函數(shù)，2）；4、用matlab編程實現(xiàn)算法并輸出結(jié)果。5. 實驗設(shè)計和結(jié)果分析x1x2y0.50002.000011.00001.000011.00002.500012.00004.000012.00000.500013.00000.500013.00003.500014.00001.500014.00000.500011.50001.5000-11.50002.5000-12.50001.5000-12.50002.5000-12.50003.0000-13.00003.0000-1表1 樣本數(shù)據(jù)圖2 初始樣本圖像圖3 分類輸出圖像：support vectors : 6

15、(40.0%)對于線性不可分的樣本集，用直線劃分會產(chǎn)生很大的誤差，所以必須使用非線性函數(shù)，本實驗用二次函數(shù)將訓(xùn)練樣本集分類。由輸出圖像可知，原本線性不可分的樣本集，經(jīng)svm分類后，以一個橢圓將其正確分類，虛線上的樣本為支持向量，虛線為支持分界線。6. 結(jié)論svm，這一基于統(tǒng)計學(xué)習(xí)理論中的經(jīng)驗風(fēng)險最小化原則的一種機器學(xué)習(xí)，解決了對非線性函數(shù)求解超平面的問題。它的主要思想有兩點：1.它是針對線性可分情況進行分析的，對于線性不可分的情況，它運用一步映射，將線性不可分的情況變換為高維線性可分的，從而將復(fù)雜的問題簡單化。其中核函數(shù)的運用無疑是最重要的，它的存在使得升維后計算復(fù)雜度并不增加，為升維提供了現(xiàn)

16、實可能性。核函數(shù)方法的優(yōu)點：（1） 減少了直接變換時特征空間的運算，能極大地降低計算的代價，避免了“維災(zāi)難”；（2） 采取核函數(shù)的方法后，就不必要知道非線性變換函數(shù)的開式；（3） 特征空間的維數(shù)不受限制；（4） 核函數(shù)比較容易確定，只要滿足mercer條件的函數(shù)都可。另外，svm可以有效地解決小樣本、非線性及高維模式識別問題。svm用于模式分類的觀點可以簡單地闡述為：無論問題是不為線性，選擇相應(yīng)的核函數(shù)，均可將輸入向量映射到一個高維空；其次，用最優(yōu)化理論方法尋求最優(yōu)超平面將兩類分開。自20世紀(jì)90年代貝爾實驗室的vapnik教授首次提出支持向量機的基本理論和概念以來，在國際范圍內(nèi)引起研究支持向

17、量機理論和應(yīng)用的熱潮，各種雜志紛紛撰文介紹svm的內(nèi)容，許多學(xué)者紛紛將svm理論應(yīng)用于不同領(lǐng)域，如模式識別、回歸分析、自動控制、函數(shù)逼近等。我國對支持向量機的研究雖略晚于國外，但近年來關(guān)于支持向量機理論和應(yīng)用的研究越來越受到研究者和技術(shù)開發(fā)界的關(guān)注。相信隨著支持向量機基本原理、方法和應(yīng)用技巧的深入研究和發(fā)展，其應(yīng)用范圍將越來越廣泛。參考文獻(xiàn)：1 孫即祥.現(xiàn)代模式識別（第二版）m.北京：高等教育出版社，2008：624650.2 李晶皎.模式識別m.北京：電子工業(yè)出版社，2010：149188.3 孫亮.模式識別原理m.北京：北京工業(yè)大學(xué)出版社，2009：149206.4 丁世飛.人工智能m.北

18、京：清華大學(xué)出版社，2011：169181.5 方瑞明.支持向量機理論及其應(yīng)用分析m.北京：中國電力出版社，2007：165.6 張克.基于地震正演模擬和svm的煤與瓦斯突出危險區(qū)預(yù)測研究d.徐州：中國礦業(yè)大學(xué).7 程鳳偉.動態(tài)粒度svm學(xué)習(xí)算法j.模式識別與人工智能，2014，27（4）：372376. cheng feng-wei.dynamic grannlar svm learning algorithmj.pattern recognition and artificial intelligence, 2014，27（4）：372376.8 田中大.基于emd與lssvm的網(wǎng)絡(luò)控制系

19、統(tǒng)時延預(yù)測方法j.電子學(xué)報，2014，42（5）：868873. tian zhong-da.time-delay prediction method of networked control system based on emd and ls-svmj.acta electronica sinica, 2014，42（5）：868873.9 顧嘉運.基于svm的大樣本數(shù)據(jù)回歸預(yù)測改進算法j.計算機工程，2014，40（1）：161166. gu jia-yun.a modified regression prediction algorithm of large sample data based on svmj.computer engineering, 2014，40（1）：161166.10 肖佳林.基于hmm與svm的語言活動栓測j.計算機工程，2014，40（1）：203208. xiao jia-lin.voice activity detection based on hmm and svmj.computer engineering, 2014，40（1）：203208.附：實驗代碼clearx1= 0.5000;1.0000;1.00