哈工大模式識別課程期末總結(jié)名師優(yōu)質(zhì)課獲獎市賽課一等獎?wù)n件

哈爾濱工業(yè)大學(xué)課程總復(fù)習(xí)第1頁主要內(nèi)容1.關(guān)于期末考試/考查2.章節(jié)知識點(diǎn)整理第2頁21.關(guān)于期末考試/考查第3頁31.確認(rèn)考試人員名單；2.考試/考查方式學(xué)位課：考試70%+匯報30%；選修課：匯報100%（不用考試）。3.匯報形式(見word文檔)4.考試題目（100分）1．簡答題（35分）7*5’=35分2．推導(dǎo)題（8分）3．證實題（8分）4．問答題（24分）3*8’=24分5．計算題（25分）9’+8’+8’=25分（記得要帶尺子，鉛筆，橡皮擦）【關(guān)于期末考試】第4頁42.章節(jié)知識點(diǎn)整理第5頁5哈爾濱工業(yè)大學(xué)第1章模式識別緒論第6頁主要內(nèi)容模式識別基本概念模式識別系統(tǒng)組成模式識別基本問題應(yīng)用領(lǐng)域小結(jié)第7頁模式識別系統(tǒng)組成

第8頁【模式識別系統(tǒng)組成】1.信息獲?。航?jīng)過測量、采樣、量化并用矩陣或向量表示。通常輸入對象信息有三個類型：二維圖像（文字、指紋、地圖、照片等）、一維波形（腦電圖、心電圖、機(jī)械震動波形等）、物理參量和邏輯值（體檢中溫度、血化驗結(jié)果等）2.預(yù)處理：去除噪聲，加強(qiáng)有用信息，并對輸入測量儀器或其它原因造成干擾進(jìn)行處理。3.特征提取與選擇：為了實現(xiàn)有效識別分類，要對原始數(shù)據(jù)進(jìn)行變換得到最能反應(yīng)分類本質(zhì)特征，此過程為特征提取和選擇。4.分類決議：在特征空間中用統(tǒng)計方法把被識別對象歸為某一類?；咀鞣ㄊ窃跇颖居?xùn)練集基礎(chǔ)上確定某個判決規(guī)則，使按這種判決規(guī)則對被識別對象進(jìn)行分類所造成錯誤識別率最小或引發(fā)損失最小。5.后處理：針對決議采取對應(yīng)行動。信息獲取預(yù)處理特征提取與選擇分類決議后處理模式識別系統(tǒng)組成框圖第9頁哈爾濱工業(yè)大學(xué)第2章貝葉斯決議理論第10頁主要內(nèi)容概率論基礎(chǔ)知識貝葉斯決議基礎(chǔ)知識基于最小錯誤率貝葉斯決議基于最小風(fēng)險貝葉斯決議貝葉斯分類器設(shè)計正態(tài)分布時統(tǒng)計決議小結(jié)第11頁貝葉斯決議基礎(chǔ)知識第12頁【貝葉斯決議基礎(chǔ)知識】貝葉斯決議理論先驗概率：后驗概率：類條件概率：貝葉斯公式：第13頁基于最小錯誤率貝葉斯決議第14頁【基于最小錯誤率貝葉斯決議】

（4）第15頁【基于最小錯誤率貝葉斯決議】

第16頁【基于最小錯誤率貝葉斯決議】第17頁【基于最小風(fēng)險貝葉斯決議】概念

決議決議空間前面所講錯誤率抵達(dá)最小。在一些實際應(yīng)用中，最小錯誤率貝葉斯準(zhǔn)則并不適合。以癌細(xì)胞識別為例，診療中假如把正常細(xì)胞判為癌癥細(xì)胞，當(dāng)然會給病人精神造成傷害，但傷害有限；相反地，若把癌癥細(xì)胞誤判為正常細(xì)胞，將會使早期癌癥患者失去治療最正確時機(jī)，造成驗證后果。第18頁【基于最小風(fēng)險貝葉斯決議】數(shù)學(xué)描述

第19頁【基于最小風(fēng)險貝葉斯決議】期望風(fēng)險：條件期望損失：目標(biāo)：期望風(fēng)險最小化第20頁【基于最小風(fēng)險貝葉斯決議】最小風(fēng)險貝葉斯決議規(guī)則:

第21頁【基于最小風(fēng)險貝葉斯決議】算法步驟:

第22頁【基于最小風(fēng)險貝葉斯決議】例題2:

第23頁【基于最小風(fēng)險貝葉斯決議】第24頁【基于最小錯誤率貝葉斯決議與最小風(fēng)險貝葉斯決議關(guān)系】定理：0-1風(fēng)險

第25頁哈爾濱工業(yè)大學(xué)第3章概率密度函數(shù)預(yù)計第26頁主要內(nèi)容

引言參數(shù)預(yù)計正態(tài)分布參數(shù)預(yù)計非參數(shù)預(yù)計本章小結(jié)第27頁參數(shù)預(yù)計

第28頁【參數(shù)預(yù)計】

最大似然預(yù)計貝葉斯預(yù)計貝葉斯學(xué)習(xí)第29頁【最大似然預(yù)計】基本假設(shè)第30頁【最大似然預(yù)計】基本概念第31頁【最大似然預(yù)計】基本原理第32頁【最大似然預(yù)計】預(yù)計量預(yù)計值第33頁【最大似然預(yù)計】一元參數(shù)第34頁【最大似然預(yù)計】多元參數(shù)第35頁【最大似然預(yù)計】例子（梯度法不適合）：不成功！第36頁【貝葉斯預(yù)計】采取最小風(fēng)險貝葉斯決議第37頁【貝葉斯預(yù)計】第38頁【貝葉斯預(yù)計】第39頁【貝葉斯學(xué)習(xí)】第40頁【三種方法總結(jié)】第41頁【三種方法總結(jié)】第42頁哈爾濱工業(yè)大學(xué)第4章線性判別函數(shù)第43頁主要內(nèi)容線性判別函數(shù)基本概念Fisher線性判別準(zhǔn)則函數(shù)感知準(zhǔn)則函數(shù)最小平方誤差準(zhǔn)則函數(shù)多類問題第44頁§4.1.1概念提出【線性判別函數(shù)】定義第45頁§4.1.1概念提出【線性判別函數(shù)】分類決議第46頁§4.1.1概念提出【線性判別函數(shù)】分析第47頁§4.1.1概念提出【線性判別函數(shù)】分析說明：判別函數(shù)g(x)正比于任意一點(diǎn)x到超平面代數(shù)距離。第48頁Fisher線性判別準(zhǔn)則函數(shù)第49頁【Fisher線性判別準(zhǔn)則函數(shù)】概念

應(yīng)用統(tǒng)計方法處理模式識別問題時，往往碰到維數(shù)問題（舉例：圖像識別），降維是有效方法?？紤]到降d維空間樣本投影到一條直線上，假如投影到任意一條直線上則可能造成原來有很好區(qū)分度樣本在直線上線性不可分。所以，直線方向很關(guān)鍵。第50頁【Fisher線性判別準(zhǔn)則函數(shù)】基本思緒Fisher判別基本思想：希望投影后一維數(shù)據(jù)滿足：兩類之間距離盡可能遠(yuǎn)；每一類本身盡可能緊湊。第51頁【Fisher線性判別準(zhǔn)則函數(shù)】第52頁【Fisher線性判別準(zhǔn)則函數(shù)】第53頁【Fisher線性判別準(zhǔn)則函數(shù)】第54頁【Fisher線性判別準(zhǔn)則函數(shù)】第55頁哈爾濱工業(yè)大學(xué)第5章非線性判別函數(shù)第56頁主要內(nèi)容基本概念基于距離分段線性判別函數(shù)分段線性分類器設(shè)計二次判別函數(shù)程序設(shè)計方法實際應(yīng)用系統(tǒng)設(shè)計研究匯報第57頁哈爾濱工業(yè)大學(xué)第6章特征選擇與提取第58頁主要內(nèi)容1.引言2類別可分離性判據(jù)3特征選擇4.特征提取第59頁哈爾濱工業(yè)大學(xué)第7章近鄰法第60頁60主要內(nèi)容0.引言1.近鄰法原理及其決議規(guī)則2.快速搜索近鄰法3.剪輯近鄰法4.壓縮近鄰法第61頁611.近鄰法原理及其決議規(guī)則第62頁62【基本原理】最小距離分類器是將各類訓(xùn)練樣本劃分成若干子類，并在每個子類中確定代表點(diǎn)，普通用子類質(zhì)心或鄰近質(zhì)心某一樣本為代表點(diǎn)。測試樣本類別則以其與這些代表點(diǎn)距離最近作決議。該法缺點(diǎn)是所選擇代表點(diǎn)并不一定能很好地代表各類,后果將使錯誤率增加。近鄰法基本思想：增加代表點(diǎn)數(shù)量有沒有可能取得性能好分類器呢?一個極端情況是以全部訓(xùn)練樣本作為“代表點(diǎn)”，計算測試樣本與這些“代表點(diǎn)”，即全部樣本距離，并以最近鄰者類別作為決議。此為近鄰法基本思想。第63頁63【最近鄰法決議規(guī)則

】若則其中表示是類第

個樣本。決議規(guī)則為:

定義：將與測試樣本最近鄰樣本類別作為決議方法。對一個

類別問題，每類有個樣本，，則第

類判別函數(shù)

第64頁64最近鄰法能夠擴(kuò)展成找測試樣本個最近樣本作決議依據(jù)方法。其基本規(guī)則是，在全部個樣本中找到與測試樣本

個最近鄰者；其中各類別所占個數(shù)表示成則決議為：【-近鄰法決議規(guī)則

】注意：

近鄰普通采取為奇數(shù)，跟投票表決一樣，防止因兩種票數(shù)相等而難以決議。

若則第65頁65【問題提出】上述討論中能夠看出，盡管近鄰法有其優(yōu)良品質(zhì)，不過它一個嚴(yán)重弱點(diǎn)與問題是需要存放全部訓(xùn)練樣本，以及繁重距離計算量。但以簡單方式降低樣本數(shù)量，只能使其性能降低，這也是不希望。為此要研究既能降低近鄰法計算量與存放量，同時又不顯著降低其性能一些改進(jìn)算法。

改進(jìn)算法大致基于兩種原理。一個是對樣本集進(jìn)行組織與整理，分群分層，盡可能將計算壓縮到在靠近測試樣本鄰域小范圍內(nèi)，防止與訓(xùn)練樣本集中每個樣本進(jìn)行距離計算。另一個原理則是在原有樣本集中挑選出對分類計算有效樣本，使樣本總數(shù)合理地降低，以同時到達(dá)既降低計算量，又降低存放量雙重效果。第66頁662.快速搜索近鄰法第67頁673.剪輯近鄰法第68頁684.壓縮近鄰法第69頁69哈爾濱工業(yè)大學(xué)第8章主成份分析(PCA)第70頁70主要內(nèi)容1.引言2主成份分析(PCA)3基于K-L展開式特征提取4.應(yīng)用舉例第71頁712.主成份分析第72頁72依據(jù)方差最大化原理，用一組新、線性無關(guān)且相互正交向量來表征原來數(shù)據(jù)矩陣行（或列）。這組新向量（主成份）是原始數(shù)據(jù)向量線性組合。經(jīng)過對原始數(shù)據(jù)平移、尺度伸縮(減均值除方差)和坐標(biāo)旋轉(zhuǎn)(特征分解)，得到新坐標(biāo)系(特征向量)后，用原始數(shù)據(jù)在新坐標(biāo)系下投影(點(diǎn)積)來替換原始變量。一.主成份分析基本原理第73頁73主成份分析優(yōu)點(diǎn)

★它能找到表現(xiàn)原始數(shù)據(jù)陣最主要變量組合★

經(jīng)過表示最大方差，能有效地直觀反應(yīng)樣本之間關(guān)系★

能從最大幾個主成份得分來近似反應(yīng)原始數(shù)據(jù)陣信息第74頁74圖像預(yù)處理

【人臉識別】第75頁75【人臉識別】第76頁76【人臉識別】第77頁77【人臉識別】第78頁78基于PCA構(gòu)建特征臉空間是對圖像進(jìn)行K-L變換，以去除樣本間相關(guān)性，然后依據(jù)特征值大小選擇特征向量。這種方法首先將人臉圖像映射為高維空間向量，然后應(yīng)用基于統(tǒng)計離散K-L變換方法，結(jié)構(gòu)一個各分量互不相關(guān)特征空間，即特征臉空間，再將人臉圖像在高維空間中向量映射到特征臉空間，得到特征系數(shù)。PCA構(gòu)建特征臉空間第79頁79哈爾濱工業(yè)大學(xué)第9章人工神經(jīng)網(wǎng)絡(luò)第80頁主要內(nèi)容1.基礎(chǔ)知識2.前饋神經(jīng)網(wǎng)絡(luò)3.反饋神經(jīng)網(wǎng)絡(luò)4.自組織映射神經(jīng)網(wǎng)絡(luò)第81頁神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)：從環(huán)境中獲取知識并改進(jìn)本身性能，主要指調(diào)整網(wǎng)絡(luò)參數(shù)使網(wǎng)絡(luò)到達(dá)某種度量，又稱為網(wǎng)絡(luò)訓(xùn)練。學(xué)習(xí)方式：監(jiān)督學(xué)習(xí)非監(jiān)督學(xué)習(xí)再勵學(xué)習(xí)學(xué)習(xí)規(guī)則：誤差糾正學(xué)習(xí)算法競爭學(xué)習(xí)算法第82頁4.自組織映射自組織映射Self-OrganizingMap亦稱SOFM。Kohonen提出（1980s）第83頁SOM用于非監(jiān)督模式識別自組織學(xué)習(xí)過程本身就是一個非監(jiān)督學(xué)習(xí)過程SOMA(自組織分析)基本思緒：用未知樣本集訓(xùn)練SOM;計算象密度圖;依據(jù)象密度圖劃分聚類(把結(jié)點(diǎn)代表小聚類合并)。特點(diǎn)：對數(shù)據(jù)分布形狀少依賴性；可反應(yīng)真實存在聚類數(shù)目，尤其適合人機(jī)合作分析(高維數(shù)據(jù)有效二維顯示)數(shù)學(xué)上待研究問題多：象密度與樣本分布密度之間關(guān)系？拓?fù)浔３痔卣?？怎樣在SOM平面上聚類？第84頁哈爾濱工業(yè)大學(xué)第10章無監(jiān)督學(xué)習(xí)第85頁主要內(nèi)容1.引言2.單峰子集（類）分離方法3.類別分離間接方法4.分級聚類方法第86頁監(jiān)督模式識別：（已知）樣本集→訓(xùn)練（學(xué)習(xí)）→識別（分類）非監(jiān)督模式識別：（未知）樣本集→非監(jiān)督學(xué)習(xí)（聚類分析）→后處理【引言】經(jīng)過尋找可能存在分類來了解某一對象將復(fù)雜多樣對象用有限經(jīng)典來代表依據(jù)：某種假設(shè)（對聚類應(yīng)含有性質(zhì)認(rèn)識）結(jié)果：聚類（clusters）屬中間結(jié)果（數(shù)學(xué)結(jié)果），需經(jīng)解釋賦予物理含義（后處理）應(yīng)用：復(fù)雜系統(tǒng)未知特征分析（舉例）航天、航空、航海（詳細(xì)闡述）直接方法:基于概率密度函數(shù)預(yù)計

相間接聚類方法:基于樣本間似性度量第87頁【動態(tài)聚類】屢次迭代，逐步調(diào)整類別劃分，最終使某準(zhǔn)則到達(dá)最優(yōu)。三個關(guān)鍵點(diǎn)：①選某種距離作為樣本相同性度量②定義某個準(zhǔn)則函數(shù)，用于評價聚類質(zhì)量。③初始分類方法及迭代算法C-均值聚類ISODATA聚類慣用算法：第88頁【動態(tài)聚類】C均值算法第89頁【動態(tài)聚類】C均值算法第90頁【動態(tài)聚類】C均值算法初始劃分：普通可先選代表點(diǎn)，再進(jìn)行初始分類。代表點(diǎn)選擇方法：1.經(jīng)驗選擇2.隨機(jī)分成c類，選各類重心作為代表點(diǎn)3.“密度”法。計算每個樣本一定球形鄰域內(nèi)樣本數(shù)作為“密度”，選“密度”最大樣本點(diǎn)作為第一個代表點(diǎn)，在離它一定距離選最大“密度”點(diǎn)作為第二個代表點(diǎn)，…，依次類推。4.用前c個樣本點(diǎn)作為代表點(diǎn)。5.用c?1聚類求c個代表點(diǎn)：各類中心外加離它們最遠(yuǎn)樣本點(diǎn)，從1類開始。第91頁【動態(tài)聚類】C均值算法初始分類方法：1.最近距離法。離哪個代表點(diǎn)近就歸入哪一類。2.最近距離法歸類，但每次都重新計算該類代表點(diǎn)。3.直接劃分初始分類：每一個樣本自成一類，第二個樣本若離它小于某距離閾值則歸入這類，不然建新類，……4.將特征歸一化，用樣本各特征之和作為初始分類依據(jù)。說明：初始劃分無一定之規(guī)，多為啟發(fā)式方法。C均值方法結(jié)果受初值影響，是局部最優(yōu)解。第92頁【動態(tài)聚類】C均值聚類方法用于非監(jiān)督模式識別問題：要求類別數(shù)已知；是最小方差劃分，并不一定能反應(yīng)內(nèi)在分布；與初始劃分相關(guān)，不確保全局最優(yōu)。C均值算法第93頁4.分級聚類方法（HierachicalClustering）第94頁【分級聚類方法

】思想：從各類只有一個樣本點(diǎn)開始，逐層合并，每級只合并兩類，直到最終全部樣本都?xì)w到一類。Hierarchicaltree--dendrogram聚類過程中逐層考查類間相同度，依此決定類別數(shù)第95頁樹枝長度：反應(yīng)結(jié)點(diǎn)/樹枝之間相同度或距離樹枝位置：在不改變樹結(jié)構(gòu)情況下能夠任意調(diào)整，調(diào)整方法需研究距離/相同性度量：各種選擇，如歐式距離、相關(guān)、CityBlock、…【分級聚類方法

】第96頁距離（相同性度量）：樣本之間度量聚類之間度量算法（從底向上）：（1）初始化，每個樣本形成一類（2）把相同性最大（距離最?。﹥深惡喜ⅲ?）重復(fù)（2），直到全部樣本合并為兩類?！痉旨壘垲惙椒?/p>

】第97頁【分級聚類方法

】第98頁哈爾濱工業(yè)大學(xué)第11章含糊模式識別第99頁主要內(nèi)容1.引言2.含糊集基本知識3.含糊特征和含糊分類4.特征含糊評價5.含糊聚類方法6.含糊k近鄰分類器第100頁【含糊C均值方法（FCM）】C均值算法第101頁【含糊C均值】第102頁【含糊C均值】第103頁【含糊C均值】含糊C均值算法：第104頁【改進(jìn)含糊C均值算法】含糊C均值算法一個缺點(diǎn)：第105頁【改進(jìn)含糊C均值算法】第106頁【改進(jìn)含糊C均值算法】特點(diǎn)AFC有更加好魯棒，且對給定聚類數(shù)目不十分敏感。但有時可能會出現(xiàn)一個類中只包含一個樣本情況，可經(jīng)過在距離計算中引入非線性，使之不會小于革值來改進(jìn)。

AFC、FCM與C均值一樣，依賴于初值。試驗效果舉例例一：類別重迭及類別不顯著情況+：C圴值×：FCMO：AFC第107頁【改進(jìn)含糊C均值算法】正確聚類(C=4)CM聚類(C=3)FCM聚類(C=3)AFC聚類(C=3)例二：給定類別數(shù)與實際類別數(shù)不一致情況第108頁改進(jìn)含糊C均值算法改進(jìn)含糊C均值算法較前面提到含糊C均值算法含有更加好魯棒性，它不但能夠在有孤立樣本存在情況下得到很好聚類效果，而且能夠放松隸屬度條件，而且因為放松了隸屬度條件，使最終聚類結(jié)果對預(yù)先確定聚類數(shù)目不十分敏感。與確定性C均值算法和含糊C均值算法一樣，改進(jìn)含糊C均值算法依然對聚類中心初值十分敏感，為了得到很好結(jié)果，能夠用確定性C均值算法或含糊C均值算法結(jié)果作為初值?！靖倪M(jìn)含糊C均值算法】第109頁109哈爾濱工業(yè)大學(xué)第12章統(tǒng)計學(xué)習(xí)理論第110頁主要內(nèi)容1.統(tǒng)計學(xué)習(xí)理論2.支持向量機(jī)3.核方法第111頁2.支持向量機(jī)第112頁依據(jù)統(tǒng)計學(xué)習(xí)理論，學(xué)習(xí)機(jī)器實際風(fēng)險由經(jīng)驗風(fēng)險值和置信范圍值兩部分組成。而基于經(jīng)驗風(fēng)險最小化準(zhǔn)則學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本經(jīng)驗風(fēng)險最小誤差，沒有最小化置信范圍值，所以其推廣能力較差?！净靖拍睢縑apnik與1995年提出支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問題約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一個基于結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則學(xué)習(xí)方法，其推廣能力顯著優(yōu)于一些傳統(tǒng)學(xué)習(xí)方法。第113頁【基本概念】因為SVM求解最終轉(zhuǎn)化成二次規(guī)劃問題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有優(yōu)勢，并能夠推廣應(yīng)用到函數(shù)擬合等其它機(jī)器學(xué)習(xí)問題中Joachims最近采取SVM在Reuters-21578來進(jìn)行文本分類，并聲稱它比當(dāng)前發(fā)表其它方法都好第114頁【基本概念】因為SVM求解最終轉(zhuǎn)化成二次規(guī)劃問題求解，所以SVM解是全局唯一最優(yōu)解SVM在處理小樣本、非線性及高維