模式識(shí)別前沿講座

模式識(shí)別前沿講座第1頁/共73頁1.模式識(shí)別討論主題（PR研究什么？）模式識(shí)別研究主要在兩方面:[1]研究生物體（包括人）是如何感知對(duì)象的，屬于認(rèn)知科學(xué)的范疇;是生理學(xué)家、心理學(xué)家、生物學(xué)家和神經(jīng)生理學(xué)家的研究?jī)?nèi)容。[2]在給定的任務(wù)下，如何用計(jì)算機(jī)實(shí)現(xiàn)模式識(shí)別的理論和方法。是數(shù)學(xué)家、信息學(xué)專家和計(jì)算機(jī)科學(xué)工作者最為關(guān)注的內(nèi)容。第2頁/共73頁定義(Definition)

借助計(jì)算機(jī)，就人類對(duì)外部世界某一特定環(huán)境中的客體、過程和現(xiàn)象的識(shí)別功能(包括視覺、聽覺、觸覺、判斷等)進(jìn)行自動(dòng)模擬的科學(xué)技術(shù)。

對(duì)語音波形、地震波、心電圖、腦電圖、圖片、照片、文字、符號(hào)、生物傳感器等對(duì)象的具體模式進(jìn)行辨識(shí)和分類。

第3頁/共73頁第4頁/共73頁第5頁/共73頁第6頁/共73頁第7頁/共73頁北京大學(xué)信息中心（視覺聽覺信息處理國家重點(diǎn)實(shí)驗(yàn)室）第8頁/共73頁第9頁/共73頁第10頁/共73頁第11頁/共73頁第12頁/共73頁第13頁/共73頁第14頁/共73頁第15頁/共73頁第16頁/共73頁第17頁/共73頁手掌靜脈第18頁/共73頁手掌掌紋第19頁/共73頁第20頁/共73頁SensorsFeaturesGenerationFeaturesSelectionSystemEvaluationClassifierDesignPatternsInputFig.1.1分類系統(tǒng)設(shè)計(jì)的基本步驟2模式識(shí)別怎么構(gòu)成？

由信息傳遞的雙向性可以理解，其中的每一環(huán)節(jié)都不是孤立的和單方向的，它們之間相互關(guān)聯(lián)和依賴，在必要的時(shí)候需要循環(huán)、反饋與迭代。現(xiàn)代模式識(shí)別特別注重其關(guān)聯(lián)性。第21頁/共73頁基于語音：

重點(diǎn)人物通信監(jiān)控語音識(shí)別系統(tǒng)/規(guī)模音頻資料檢索基于圖像：車牌識(shí)別(VehicleLicensePlateRecognitionVLPR)

行人檢測(cè)人臉識(shí)別/指紋識(shí)別/簽名認(rèn)證/支票認(rèn)證/表情和手勢(shì)識(shí)別/農(nóng)作物分類與害蟲識(shí)別/生物信息學(xué)：DNA識(shí)別/航空與衛(wèi)星遙測(cè)遙感數(shù)據(jù)資源調(diào)查/軍用目標(biāo)的圖像識(shí)別基于視頻：人體行為檢測(cè)，步態(tài)識(shí)別，場(chǎng)景分類基于工程數(shù)據(jù)：

振動(dòng)模式分析與故障診斷/數(shù)據(jù)挖掘與知識(shí)發(fā)現(xiàn)/基因分類/等3模式識(shí)別做什么(應(yīng)用領(lǐng)域)？第22頁/共73頁統(tǒng)計(jì)模式識(shí)別(statisticpatternrecognition)

統(tǒng)計(jì)模式識(shí)別(statisticpatternrecognition)的基本原理是：有相似性的樣本在模式空間中互相接近，并形成“集團(tuán)”，即“物以類聚”。統(tǒng)計(jì)模式識(shí)別的主要方法有：判別函數(shù)法，近鄰分類法，非線性映射法，特征分析法，主因子分析法等。(2)決策理論方法

通過分析具體識(shí)別對(duì)象決定選取何種特征,特征抽取后可進(jìn)行分類，即從特征空間再映射到?jīng)Q策空間。

4模式識(shí)別方法分類第23頁/共73頁(3)句法方法又稱結(jié)構(gòu)方法或語言學(xué)方法。其基本思想是把一個(gè)模式描述為較簡(jiǎn)單的子模式的組合，子模式又可描述為更簡(jiǎn)單的子模式的組合，最終得到一個(gè)樹形的結(jié)構(gòu)描述，在底層的最簡(jiǎn)單的子模式稱為模式基元。第24頁/共73頁Mydoctorproblem!第25頁/共73頁良性鈣化點(diǎn)

惡性鈣化點(diǎn)

第26頁/共73頁研究目標(biāo)[1]如何利用計(jì)算機(jī)實(shí)現(xiàn)區(qū)分鈣化點(diǎn)還是非鈣化點(diǎn)判決？[2]如何利用計(jì)算機(jī)實(shí)現(xiàn)良性鈣化區(qū)域還是惡性鈣化區(qū)域的判決？這就是典型的圖象處理+模式識(shí)別問題！第27頁/共73頁腫瘤目標(biāo)分割（如何將學(xué)習(xí)問題引入半交互圖象分割問題中？）第28頁/共73頁3模式識(shí)別怎么做？Fig.1.3非線性分類B.非線性分類Fig.1.2線性分類線性與非線性分類

A.線性分類例如：基于劃分的分類原理第29頁/共73頁SVDD原理覆蓋模式識(shí)別第30頁/共73頁二現(xiàn)代模式識(shí)別技術(shù)（經(jīng)典與現(xiàn)代）經(jīng)典發(fā)展現(xiàn)代現(xiàn)代：新問題--------新理論與新技術(shù)科學(xué)的本質(zhì)就是繼承和發(fā)展！??！第31頁/共73頁1基于Bayes決策理論貝葉斯(Bayes)分類器

(Bayes公式)Fig.1.4Bayes分類第32頁/共73頁2感知器算法(ThePerceptronAlgorithm)決策函數(shù)第33頁/共73頁Fig.1.5SVM分類a)快速求出基于邊界的最優(yōu)分類b)在凸集上求出最臨近邊界點(diǎn)3SupportVectorMachines-SVM(支持向量機(jī))第34頁/共73頁決策函數(shù)第35頁/共73頁Non-Separableclasses(線性不可分類)第36頁/共73頁在XOR問題中，由RBF推廣線性分類器形成的決策線a)初始空間；b)轉(zhuǎn)換空間第37頁/共73頁4Nearestneighbor(近鄰分類)第38頁/共73頁第39頁/共73頁第40頁/共73頁修剪的近鄰分類器第41頁/共73頁第42頁/共73頁5線性鑒別分析第43頁/共73頁第44頁/共73頁白話：結(jié)構(gòu)風(fēng)險(xiǎn)既要考慮模型的復(fù)雜度又要考慮訓(xùn)練誤差。第45頁/共73頁（a）感知器(b)SVMSVM與感知器分類區(qū)別第46頁/共73頁第47頁/共73頁簡(jiǎn)單比復(fù)雜好第48頁/共73頁

統(tǒng)計(jì)模式識(shí)別的主要方法:Bayes決策概率密度估計(jì)（參數(shù)方法和非參數(shù)方法）特征提?。ㄗ儞Q）和選擇聚類分析在20世紀(jì)60年代以前就已經(jīng)成型。

由于統(tǒng)計(jì)方法不能表示和分析模式的結(jié)構(gòu)，70年代以后結(jié)構(gòu)和句法模式識(shí)別方法受到重視。但是，句法模式識(shí)別中的基元提取和文法推斷（學(xué)習(xí)）問題直到現(xiàn)在還沒有很好地解決，因而沒有太多的實(shí)際應(yīng)用。

目前模式識(shí)別發(fā)展基本總結(jié)第49頁/共73頁[1]20世紀(jì)80年代Back-propagation(BP)算法的重新發(fā)現(xiàn)和成功應(yīng)用推動(dòng)了人工神經(jīng)網(wǎng)絡(luò)研究和應(yīng)用的熱潮。神經(jīng)網(wǎng)絡(luò)方法與統(tǒng)計(jì)方法相比具有不依賴概率模型、參數(shù)自學(xué)習(xí)、泛化性能良好等優(yōu)點(diǎn)，至今仍在模式識(shí)別中廣泛應(yīng)用。然而，神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)和實(shí)現(xiàn)依賴于經(jīng)驗(yàn)，泛化性能不能確保最優(yōu)。[2]90年代支持向量機(jī)(SVM)的提出吸引了模式識(shí)別界對(duì)統(tǒng)計(jì)學(xué)習(xí)理論和核方法(Kernelmethods)的極大興趣。與神經(jīng)網(wǎng)絡(luò)相比，支持向量機(jī)的優(yōu)點(diǎn)是通過優(yōu)化一個(gè)泛化誤差界限自動(dòng)確定一個(gè)最優(yōu)的分類器結(jié)構(gòu)，從而具有更好的泛化性能。而核函數(shù)的引入使很多傳統(tǒng)的統(tǒng)計(jì)方法從線性空間推廣到高維非線性空間，提高了表示和判別能力。第50頁/共73頁[3]結(jié)合多個(gè)分類器的方法從90年代前期開始在模式識(shí)別界盛行，后來受到模式識(shí)別界和機(jī)器學(xué)習(xí)界的共同重視。多分類器結(jié)合可以克服單個(gè)分類器的性能不足，有效提高分類的泛化性能。這個(gè)方向的主要研究問題有兩個(gè)：給定一組分類器的最佳融合和具有互補(bǔ)性的分類器組的設(shè)計(jì)。其中一種方法，Boosting，現(xiàn)已得到廣泛應(yīng)用，被認(rèn)為是性能最好的分類方法。（一個(gè)不行多個(gè)如何呢？三個(gè)臭皮匠頂個(gè)諸葛亮）第51頁/共73頁進(jìn)入21世紀(jì)，模式識(shí)別研究的特點(diǎn)[1]Bayes學(xué)習(xí)理論新發(fā)展-基于圖表示的Bayes分類,模型參數(shù)同時(shí)調(diào)整。[2]傳統(tǒng)的問題新解，如概率密度估計(jì)、特征選擇、聚類等不斷受到新的關(guān)注，新的方法或改進(jìn)/混合的方法不斷提出。[3]模式識(shí)別領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域的相互滲透越來越明顯，如特征提取和選擇、分類、聚類、半監(jiān)督學(xué)習(xí)等問題成為二者共同關(guān)注的熱點(diǎn)。[4]稀疏表示分模式識(shí)別。[5]多觀測(cè)樣本分類問題。第52頁/共73頁[6]模式識(shí)別領(lǐng)域的前沿研究方向還有：Bayes學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、主動(dòng)學(xué)習(xí)、在線學(xué)習(xí)等。

研究計(jì)算機(jī)模式識(shí)別的目的是讓機(jī)器具備人的感知和認(rèn)知能力，代替人完成繁重的信息處理工作。當(dāng)我們把計(jì)算機(jī)的模式識(shí)別能力與人的模式識(shí)別（視覺、聽覺感知）能力相比，就會(huì)發(fā)現(xiàn)現(xiàn)有的模式識(shí)別方法與人的感知過程有很大區(qū)別，在性能上也相差很遠(yuǎn)，很多對(duì)人來說是輕而易舉的事情對(duì)計(jì)算機(jī)來說卻很難做到。這是由于目前對(duì)人的感知過程的機(jī)理和大腦結(jié)構(gòu)還不是很了解，即使已經(jīng)了解的部分也不容易在計(jì)算上或硬件上模擬。進(jìn)一步研究人的感知機(jī)理并借鑒該機(jī)理設(shè)計(jì)新的模式識(shí)別計(jì)算模型和方法是將來的一個(gè)重要方向。第53頁/共73頁可拒識(shí)分類器示意圖第54頁/共73頁SVDD原理第55頁/共73頁仿生神經(jīng)網(wǎng)絡(luò)折線：BP圓：RBF

橢圓：拓?fù)渖窠?jīng)網(wǎng)絡(luò)第56頁/共73頁第57頁/共73頁第58頁/共73頁第59頁/共73頁稀疏識(shí)別模型第60頁/共73頁稀疏識(shí)別模型第61頁/共73頁第